Сейчас в сфере ИИ есть два карьерных пути:

Первый — разработчик, который умеет создавать приложения с помощью API языковых моделей.

Второй — архитектор, который понимает, как устроены сами языковые модели и системы на их основе.

Если хотите двигаться в сторону второго, у Стэнфорда есть один из лучших бесплатных курсов по разработке LLM — CS336: Language Modeling from Scratch.

Курс 2026 года состоит из 18 лекций и охватывает практически весь технологический стек языковых моделей:

— Архитектура моделей: токенизация, трансформеры, различные архитектуры и MoE.

— Аппаратное обеспечение: FLOPs, память, GPU и TPU.

— Оптимизация производительности: Triton, GPU-ядра, параллелизм и распределённое обучение.

— Обучение моделей: законы масштабирования, сбор, фильтрация и дедупликация данных.

— Запуск моделей: инференс и оценка качества.

— Дообучение: SFT, RLHF и RLVR.

Отдельно рассматривается мультимодальность.

Причём обучение не ограничивается просмотром лекций. Студенты самостоятельно реализуют токенизатор, трансформер и оптимизатор, пишут FlashAttention2 на Triton, создают систему распределённого обучения с эффективным использованием памяти и превращают сырые данные Common Crawl в датасет для предобучения.

Также они экспериментально определяют закон масштабирования и используют SFT вместе с обучением с подкреплением, чтобы научить языковую модель решать математические задачи.

По словам Стэнфорда, на этом курсе студенты пишут как минимум на порядок больше кода, чем на большинстве других курсов по ИИ.

Stanford CS336, весна 2026 года. 18 лекций, бесплатно на YouTube.

https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV

Выбирайте свой путь.

👉 @PythonPortal