Stanford CME295: погружение в основы LLM (Рубрика #AI)

Начал изучать курс Stanford CME295 — Transformers & Large Language Models, который хочется порекомендовать всем. Это отличный способ погрузиться в основы: преподаватели буквально на пальцах объясняют сложные концепции. Сначала показывают, какую проблему нужно решить, разбирают её на простом примере, а дальше уже переходят к формулам. Так гораздо легче понять, зачем в модели вообще появилась та или иная деталь.

Ведут курс братья-близнецы Афшин и Шервин Амиди — преподаватели Stanford ICME в статусе Adjunct Professor. Оба учились в École Centrale Paris, затем Афшин — в MIT, а Шервин — в Stanford. В первой лекции они рассказывают и про свой индустриальный путь: Uber, Google, сейчас — Netflix.

На сайте уже есть все девять лекций 2025 года, поэтому можно сразу пройти весь курс. А буквально неделю назад, 25 сентября, стартовал поток 2026 года. По словам преподавателей, содержание заметно изменится: за год появились новые подходы к обучению моделей, агентам и самой генерации текста. Программа уже показывает, куда пойдут эти изменения.

Всего запланировано девять лекций, и маршрут получается довольно последовательный:
🔸 Устройство модели: токены, векторные представления, attention и Transformer. Затем — семейства LLM, контекст и способы выбирать следующий токен при генерации.
🔸 Обучение: от предварительного обучения до SFT и RLHF, LoRA, обучения с подкреплением и дистилляции.
🔸 Системы и агенты: как ускорять работу моделей, хранить промежуточные вычисления, подключать инструменты, организовывать память и управлять контекстом.
🔸 Оценка и новые направления: как проверять качество моделей и агентов, где ошибается LLM-as-a-judge, что происходит с диффузионными языковыми моделями и мультимодальностью.

Кстати, в версии 2026 года системам LLM и обучению с подкреплением выделили отдельные занятия, добавили лекцию про диффузионные LLM, а в программе про агентов появились MCP, сжатие контекста, skills и plugins. Так что даже после прошлогодних записей здесь будет за чем следить.

Подача доступная, хотя знакомство с линейной алгеброй, математическим анализом и базовыми понятиями машинного обучения пригодится. Формулы здесь есть, и в них стоит разбираться. На сайте доступны слайды и краткий конспект; домашних заданий у курса нет, зато есть два экзамена.

В следующем посте разберу первую лекцию нового потока, запись которой вышла на этой неделе, 28 сентября. Там как раз собирают фундамент: от разбиения текста на токены до Transformer и сквозного примера перевода предложения.

#AI #LLM #Learning #Engineering #Agents