Сегодня новых историй от подписчиков про собесы нет (а форма есть здесь), поэтому рассказываю историю сам.
Речь ппойдет про стартап magic.dev. По описанию стартап занимается:
frontier code models to automate software engineering and research
Cтартапов с таким описанием наберется куча. А вот то, что за вторую половину 2024 года, компания в двадцать с лишним человек подняла примерно полмиллиарда долларов инвестиций (цифры немного разнятся, но источники TechCrunch и блог самой компании) от разных инвесторов и фондов (среди них и Nvidia, и Google) — это интересно.
Наверное, ребята делают что-то большое и прорывное. И судя по блогу компании — это действительно так. В сентябре прошлого года анонсировали, что обучили первую модель с длиной контекста 100M токенов (почитать немного подробностей можно тут, но если коротко то используют reasoning над хэшами).
В демо делают упор на способность модели без дополнительных инструментов, RAG-ов и прочего агентного скаффолдинга (что это, разбираю тут), только за счет того, что в контекст подается весь исходный код GUI фрэймворка, написать интерфейс для... калькулятора.
Пример не сложный, но демонстрация, что модель "на лету" может выучить фреймворк на сотни тысяч строк и строго использовать знания о нем в существующей кодовой базе впечатляет.
И вот после этого анонса следует новость — magic.dev коллаборируется с Google Cloud, чтобы построить мегакластер на кучу тысяч H100 GPU, чтобы обучать вторую итерацию моделей.
Дальше новостей вроде как нет. Тишина.
Но на самом деле они очень активно нанимают. Недавно со мной связывался рекрутер. Предлагают разнообразные роли: от рисерчера до performance инженера на оптимизацию CUDA kernel-ов. Помогают с релокацией в Штаты (SF, New York). Так как мне сейчас географию менять не хочется, то я отказался. А вот мой хороший коллега, с огромным опытом в оптимизации моделей и 14 годами опыта с железом (участвовал в разработке чипов Inferentia 1 и 2 для AWS) решил, что это может быть новым вызовом. И начал процесс.
Ниже то, что я запомнил из его рассказа про интервью:
🔘 Нанимают на роль Software Engineer - Supercomputing Platform & Infrastructure - короче говоря скейлить и учить модели на огромных кластерах
🔘Техчническое интервью с бывшим лидом из OpenAI. Весь разговор был построен вокруг темы параллелизации вычислений: почему FSDP плох, в чем tensor parallelism имеет недостатки, как реализовывать Pipeline Parallelism. По отзыву, довольно глубокая беседа о том, что важно на практике.
🔘Home work assignment. Дали доступ к своей кодовой базе и кластеру на несколько GPU. В коде намеренно оставили разные несовершенства: от неэффективностей в использовании торча до выбора неэффективных кернелов. Так как пишут свои кастомные кернелы, то дали доступ еще и к своей библиотеке, где были спрятаны самые большие боттлнеки. Коллега говорит, что словил чистый кайф от домашки и не заметил, как потратил на ее решение 30 часов (то есть буквально решал всю неделю, бесплатно).
🔘Виртуальный онсайт с разбором домашки. Так же к онсайту просили сделать разбор актуальных работ по теме long context и подготовить презентацию.
🔘Дальше, судя по рассказу, вроде бы были готовы двинуться к офферу. Но как говорит коллега, предложили не очень убедительный total comp, и если бы он переезжал из Лондона в Сиэттл с Амазоном по внутреннему трансферу, то было бы выгоднее. Укажу, что в вакансии пишут, что вилка на такого инженера $100K - $550K и сверху equity.
Такая пятничная история. От меня следующие мысли:
1) Про параллелизм и скелйинг моделей можно хорошо послушать в свежем курсе по LLM от Стэнфорда в лекции тут
2) Компания мне кажется мутной. Cмотрю на фаундеров и не доверяю им. Но кто я такой, чтобы судить, если вливают столько денег, может что-то там и есть.
3) Очень нравится, как устроен найм в стартапы: глубокие технические разговоры, домашки, через которые можно прокачать свои навыки. Еще одна мотивация для меня дописать лонгрид про Детали интервью в стартапы и почему стоит идти в них поработать 🔥
@max_dot_sh