max.sh

Поехали с первым отзывом на собесы!
Интервью на AI Engineer в Mistral.AI 😮

Авторская орфография сохранена


#интервью

➖Ник автора в тг - Анонимно

➖Название комании, можете указать ссылку или коротко описать что за место - Mistral.AI https://mistral.ai/news/. Стартап в области LLM моделей. Недавно подняли 600м в series B раунде.

➖Как подались на вакансию - Увидел пост их рисерч инженера в линкедине, написал в личку, назначили собес

🔥 Субъективно Сложность процесса по 10 бальной шкале - 9/10, было хардово и необычно


➖Когда начали процесс - В декабре 2024

➖Когда закончили процесс - В декабре 2024


➖Позиция, на которую собеседовались - На сайте называлась AI Engineer

➖Грейд на который собеседовались (если известно) - Кажется, они тогда нанимали только Сеньоров

➖Локация вакансии - Ремоут в европе

🔥 Расскажите про этапы собеседований

1. Скрин раунд с их инженером

Звонок на 30-40 минут, скрин, рассказать про себя и про то, какими рисерч проектами занимался. Спрашивали, как именно подходил к эксперименту, какие данные, какие бэйзлайны.

2. Он сайт раунд 1

Первый он сайт состоит сразу из 3 итнервью подряд в один день. Это довольно удивило, не видел раньше такого. На каждом собесе было по 2-3 человека, иногда интервьюировали сразу оба.

Секция 1. Puzzles.

45 минут, секция про брэйнтизеры и логические головоломки. Первый раз такой собес был. Начали с простых вопросов "Два человека хотят забраться на гору, у них один мотоцикл и только один человек может на нем ехать. Оба оказались на вершине горы. Как?" След вопрос сложнее. Потом было про то, как бы я оценил количество пианистов в Европе.

Секция 2. ML Coding.
Кодинг нормальный. Попросили реализовать causal lm пайплайн, чтобы модель можно было использовать через model.generate(...). Нужно было сделать кастомный prepare_inputs_for_generation. Суть была в том, чтобы дойти до работающего кода.

Секция 3. LLM Quiz.

Много вопросов, как работают LLM. На каждом вопросе интервьюеры углублялись. Были такие: виды attention-а; как устроен GQA и почему быстрее, как бы реализовывал его. или рассказать про методы speculative decoding и как они работают, какие гарантии дают на качество. Я прям вспотел тут.

По итогам не позвали на второй раунд, фидбэк очень сухой, HR-ы не общительные.

Из материалов к подготовке видел, что второй раунд состоит тоже из трех интервью:
Бихейв, Дизайн и еще один ML Coding.


➖Итоги собеседования, например оффер или отказ, или что-то другое: Отказ

➖ Информация про Total Compensation (если желаете) N/A

Так же в тему собеседований интересно читать отзывы тех, кто собеседовался на разные модные позиции в стартапы / большие компании. Я поспрашивал знакомых и оказалось, что многие были бы готовы поделиться своим опытом, особенно если смогут взамен получить информацию про опыт других людей в другие места.

Cоставил гугл форму, куда можете написать свой опыт собеседования https://forms.gle/7ekoiy21pC5ukVTk7, а я потом его опубликую, с сохранением авторской пунктуации; при необходимости - анонимно. Можете так же написать в личку в тг. Сообщение добавлю в закреп к каналу. Посты можно будет искать по тегу #интервью

Ниже собраны все истории доступные на канале:

- FAANG-и:
Senior ML Engineer в Apple Music
Performance Engineer в Nvidia
Research Engineer в Google DeepMind
Senior ML Engineer в Meta

- Отечественный биг тех:
NLP Engineer LLM SberDevices

- Well-funded Стартапы:
AI Engineer в Mistral.AI
Research Fellowship в Anthropic

- Early stage Стартапы:
Atla ai, Founding ML Engineer, Round A.

- Другие:
VP of AI ML в J.P. Morgan Chase, London

Анатомия ML Интервью. Часть 1. ML Coding. Продолжение

*️⃣ Иногда встречается и гибридный формат, когда большая часть кода / весь код какого-то алгоритма за вас уже написан и нужно отловить баги.

Например, дана реализация GPT, стэк трансформер слоев и приведена реализация всех слоев. Нужно найти все косяки в коде (например, реализация никак не использует маскировку токенов при обучении).

⏩Про такой формат дата поинты по Яндексу.


4️⃣Теперь перейдем к другой категории вопросов - Open ended questions.

Такие можно встретить в стартапах, особенно ранних в ранних стадиях, или в компаниях, где процесс просто не отлажен / находится в стади трансформации.

В таком интервью вам дадут размытое определение задачи и попросят предложить реализацию. В силу размытости формулировки, интервью превращается в дискуссию, где вы и интервьюер как будто тим мейты, вместе пишете код. На задачу может уходить и 60 минут. А иногда и даже больше! У ранних стартапов сильно больше флексибильности в длительности раунда и они максимально заинтересованы в том, чтобы поймать как можно больше сигнала от кандидата, в силу ограниченности ресурсов на поиск талантов.

Например, в стартапах с уклоном в LLM-ы, где идет найм ML инженеров для поднятия большой инфраструктуры для обучения/инференса моделей могут попросить реализовать что-нибудь такое:

Write a function that generates output for a given pretrained model.
The function also outputs latency/throughput stats for a given input.

Исходя из задачи, вы предлагаете пути решения и пишите код. Потом следуют follow-up вопросы и вы добавляете новые фичи.

Очень часто на таких вопросах можно пользоваться гуглом, копипастить код из других источников. Суть в том, чтобы попробовать смоделировать реальные рабочие условия. Как по мне, на такие раунды самые интенсивные и интересные. Но и предсказуемости исхода тоже меньше. Много факторов может повлиять на исход: интервьюер неразговорчивый, день не задался и тяжело формулировать мысли на несколько шагов вперед.

⏩Такие интервью очень любят в Seed / Round A стартапах. Такая секция есть у Mistral AI.

Что думаете? Напишите, если есть дополнения или мысли на этот счет.

Как обычно, Happy Learning!

Анатомия ML Интервью. Часть 1. ML Coding

1️⃣ML Coding - популярная секция для найма ML инженеров в компаниях всех размеров. Правда что за этим названием скрывается - зачастую очень большая загадка.

HR-ы отписываются, что на этом раунде будет что-то вроде:

include a small ML coding exercise (not leetcode)

На практике же бывает довольно хардово и непредсказуемо.

2️⃣Лучшая стратегия в подготовке:

вытащить максимум конкретики
- от HR
- от знакомых, кто туда собеседовался или там работает
- в отзывах с .teamblind.com или glassdoor-а.

Ну а затем, отточить навыки фреймворка, который скорее всего нужно будет использовать в интервью (numpy, torch, и так далее) и практиковаться в решении задач!

3️⃣Теперь про сами вариации. Их, конечно же, много. Но все вопросы обычно можно разделить на два типа: close ended questions и open ended questions.

Close ended questions, как видно из названия, подразумевают ограниченное количество правильных ответов. То есть тут как с литкодом - вас попросят написать что-то очень модульное и легко тестируемое. На вопрос в среднем отводится 25-30 минут.

По таким вопросам в принципе понятно как оценивать кандидата, поэтому есть высокая степень прогнозируемости исхода: хорошо коммуницировал рассуждения, правильно реализовал суть алгоритма, аргументировал все свои действия - скорее всего все ОК и секция пройдена отлично.

Какой тематики именно будет вопрос - зависит от стандартизированности процесса найма в компании.

*️⃣Если вы собеседуетесь в высокотохнологичный стартап / компанию средних размеров, то это может быть что-то из трансформеров:

Implement causal scaled dot product attention in numpy.
Your function should support masking and dropout. The interface is following:

def scaled_dot_product_attention(query, key, value, dropout_p=0.0,
is_causal=False, scale=None) -> numpy.ndarray:

или

Implement Transformer Block in PyTorch using the following template:

class TransformerBlock(nn.Module):

def __init__(self, model_dim: int, num_heads: int):
super().__init__()
torch.manual_seed(0)
pass

def forward(self, embedded: TensorType[float]) -> TensorType[float]:
# Round answer to 4 decimal places
torch.manual_seed(0)
pass

или

Implement nucleus sampling

class NucleusSampler:
"""
## Nucleus Sampler
"""
def __init__(self, p: float, sampler: Sampler):
"""
:param p: is the sum of probabilities of tokens to pick $p$
:param sampler: is the sampler to use for the selected tokens
"""
self.p = p
self.sampler = sampler
# Softmax to compute $P(x_i | x_{1:i-1})$ from the logits
self.softmax = nn.Softmax(dim=-1)

def __call__(self, logits: torch.Tensor):
"""
Sample from logits with Nucleus Sampling
"""

⏩Подобные вопросы, например, мелькали в процессе у Snap-а.

❗️Примеры выше - реальо встречающиеся вопросы на собесах. Но это самая база баз. Иногда бывают и настящие харды, типа

Implement a data preparation pipeline for training an autoregressive model with a delay pattern. Assume that the codebook size is N.

Your goal is to prepare an input tensor for the model. Then, implement the forward function of the model and return the predicted logits with the shape [num_codebooks, batch_size, sequence_length, vocab_size].

*️⃣В компаниях, где ML Coding является частью ML Breadth секции, направленного на проверку фундаметнальных знаний в машинном обучении, часто могут задать вопрос на что-то из классики:

- Реализовать K-means кластеризацию на питоне
- Реализовать forward/backward логистической регрессии (как правило для бинарных задач)
- Реализовать Наивного Байеса
- Реализовать Decision Tree

Обычно вам дадут шаблонный код, в котором могут быть проинициализированы ключевые параметры и остается реализовать именно алгоритм.

⏩Такие вопросы можно встретить в ML интервью в FAANG-ах на рисерч роли или на ML инженеров / Data Scientist-ов в Revolut.

Продолжение в посте ниже ⬇️
ссылка

Как устроены ML Интервью. Пост-анонс

Хочу написать серию постов о том, как устроен процесс найма на ML инженерные роли с примерами. Рынок конкурентный, позиций немного, а интервью процессы длинные и сложные. И хотя фактор случайности играет во всем этом деле огромную роль, лучше подходить к собесам с осознанием, что сделал все от себя зависящее. А если так, то даже если и не получится пройти собес в этот раз - обязательно удастся в следующий ✨

Посты разбиты на две серии:

1️⃣ Анатомия ML Интревью. В каждом посте разберу кокретный раунд с примерами.

- ML Coding

2️⃣ Анатомия Собеседований. В каждом посте расскажу, как в целом выглядит процесс найма в компанию определенного типа или на определенную позицию.

- Собеседование в Seed / Round A Стартапы

❗️Весь опыт максимально субъективный, основанный на личном опыте, общении с друзьями и знакомыми из зарубежных и отечественных компаний, собранный за разный период времени для Junior - Senior грейдов.

Выходные - это отличное время, чтобы не только отключиться от работы, но и размеренно погрузиться в большую тему.

В мире AI без всяких сомнений в этом году такой будут Агенты (AI Agents).

Агент — это любая сущность, способная воспринимать окружающую среду и действовать в ней. В книге Artificial Intelligence: A Modern Approach (1995) агент определяется как система, которая получает информацию об окружающей среде через сенсоры и воздействует на нее с помощью исполнительных механизмов.

Другими словами, агент определяется средой, в которой он работает, и набором доступных ему действий.

Среда агента зависит от его предназначения. Если агент создан для игры (например, Minecraft, Go, Dota), его средой является эта игра. Если агент собирает документы из интернета, его среда — это интернет.

Недавий запуск Operator (https://openai.com/index/introducing-operator/) от OpenAI - агента, который имеет доступ к вашему браузеру и может выполнять рутинные задачи, типа заказа билетов в кино, - большой шаг в такую сторону.

Чтобы изучить, как устроены современные агенты, как их проектируют, предлагаю подборку образовательных материалов на любой вкус и количество времени:

1️⃣Въехать в тему за вечер и понять че к чему

➖Шикарный лонг рид от Chip Huyen про концепцию агентов, планирование, evaluation и дизайн
https://huyenchip.com/2025/01/07/agents.html

➖Гайд от Антропиков (вообще у антропиков классный блог, всегда коротко и по делу) про дизайн агентов
https://www.anthropic.com/research/building-effective-agents


2️⃣ Быть в курсе ключевых новостей на каждую неделю.

➖ Еженедельный выпуск AI Новостей The Batch, курируется самим Andrew Ng, топовая выжимка актуальных новостей с полезными ссылками: https://www.deeplearning.ai/the-batch/

3️⃣ Вдумчивое чтение на несколько недель

➖ Новая книга все от той же Chip Huyen - AI Engineering: Building Applications with Foundation Models - толковый ресурс про дизайн LLM приложений, датасеты, способы evaluations и как все это улучшать. Правда, по сравнению с ее прошлыми книгами, довольно много воды.
https://huyenchip.com/books/

4️⃣ Глубоко погрузиться и следить за темой.

➖ Большой MOOC курс от Berkley про Large Language Model Agents. Каждая лекция - одна тема связанная с агентами от рисерчеров из ведущих лаб. К лекциям идет список из 3-4 статей, так что погружение обеспечено
https://llmagents-learning.org/f24

➖ Продолжение все того же курса, только-только запустился - Advanced Large Language Model Agents.
В этот раз уклон чуть больше в приложения, агенты для кодогенерации, докозательства теорем.
https://llmagents-learning.org/sp25

5️⃣ Покодить и поиграться самому

➖ HF запускает мини курс про агентов с большим уклоном в практику. Вроде как колаба должно хватить 😄
https://huggingface.co/agents-course

➖ Большая подборка мини-курсов про агентов и как их строить на бесплатной образовательной платформе от все того же Andrew Ng: https://www.deeplearning.ai/courses/. Здесь есть курсы и про Agent memory, и про LangChain, и LangGraph, и промтинг в o1 модели.


Happy learning!

#образование

max.sh

max.sh pinned «⚡️ Про что этот канал? Давайте познакомимся! Привет! Я Макс — инженер и исследователь в области искусственного интеллекта. Последние три года работаю Applied Scientist-ом в одном из FAANG-ов, живу в Лондоне. 👍 Давайте коннетиться в linkedin - https://ww…»

⚡️ Про что этот канал? Давайте познакомимся!

Привет! Я Макс — инженер и исследователь в области искусственного интеллекта. Последние три года работаю Applied Scientist-ом в одном из FAANG-ов, живу в Лондоне.

👍 Давайте коннетиться в linkedin - https://www.linkedin.com/in/maxshapp/

max.sh — это моя попытка делиться с сообществом карьерным опытом и советами разработчика-исследователя. Название канала — не только отсылка к моим инициалам, но и дань уважения инженерам: сколько bash-скриптов нам с вами приходится запускать каждый день! 🌌

🔍 Навигация по темам с помощью тегов:

#карьера — всё о профессиональном развитии в ML и смежных областях: собеседования, гайды по прокачке навыков
#образование — авторские материалы, полезные курсы, статьи и подборки ресурсов
#жизнь — моменты из жизни, опыт работы за границей, размышления о продуктивности, синдроме самозванца и пути AI-инженеров 🥲
#разбор #мнение #статья — мнения о статьях, материалах и позиции по определенным вопросам
#интервью - коллекционирую опыт людей в собесах в разные места
#рандом и #мем - куда же без них 🤬

Присоединяйтесь! Будет интересно. 🚀

Channel photo updated

Channel created