Reasoning From Scratch: RLVR, часть 2

Себастьян Рашка (@rasbt) выкатил вторую порцию разбора «Reasoning From Scratch: RLVR» — это про обучение с подкреплением, где награду можно проверить. Внутри: зачем вообще ограничивать отношения вероятностей политик, какую роль играет KL-слагаемое в лоссе, что дают награды за формат ответа и какие ещё трюки крутят вокруг GRPO. Видео: youtu.be/VxfUrUrrczs

00:00 Вступление и повтор того, что уже было
01:52 Как читать основные метрики обучения GRPO
06:34 Что собираются доработать в GRPO
08:58 Запуск долгого обучения через Python-скрипты
13:39 Старт базового скрипта для обучения GRPO
17:29 Подтягиваем логи обучения и рисуем графики
19:29 Разбираемся, почему обучение пошло вразнос
23:55 Прогон контрольных точек модели на MATH-500
26:26 Качаем уже готовые контрольные точки модели
30:09 Следим за статистикой преимущества
34:53 Что за зверь такая энтропия
40:32 Считаем энтропию в PyTorch
44:17 Как трактовать значения энтропии
48:58 Прикручиваем трекинг энтропии к GRPO
53:36 Разбор метрик преимущества и энтропии
56:18 Стабилизируем GRPO через ограничение отношений вероятностей политик
1:03:27 Пишем функцию потерь политики с ограничением
1:09:39 Смотрим результаты обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и как обойти систему наград
1:15:12 Вставляем KL-слагаемое в функцию потерь
1:20:34 Где спотыкается упрощённая функция потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Закидываем специальные токены в токенизатор
1:30:29 Реализуем награду за формат ответа
1:35:56 Разбор обучения с наградой за формат ответа
1:38:25 Награда за формат — только если ответ верный
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Куда дальше и дистилляция

👉 Telegram | Max