[1/2] John Schulman on dead ends, scaling RL, and building research institutions (Рубрика #AI)

Посмотрел очередной эпизод подкаста "Cafe Cursor", в котором общались Michael Truell и John Schulman. Майкл - это со-основатель Cursor, а John - со-основатель OpenAI и человек, предложивший RLHF (reinforcement learning from human feedback), технологию, лежащую в основе ChatGPT. Сейчас Джлн в Thinking Machines в роли chief scientist. В этом подкасте Джон делится инсайтами о том, как всё было устроено в OpenAI с 2016 года, что пошло не так, и куда движется reinforcement learning. Основные моменты интервью ниже

1️⃣ Speedrunning ChatGPT: могли бы сделать в 2018
Шульман считает, что с полным hindsight ChatGPT-3.5 можно было собрать ещё в 2018–2019 силами 2–3 человек на паре GPU-боксов. Секрет не в масштабе compute, а в умном post-training: правильный fine-tuning датасет компенсирует меньшую модель. Сравнивает с nanoGPT (один человек, один бокс, полгода). Вывод: масштабирование важно, но умные трюк > брут форса.

2️⃣ Ранний OpenAI
В 2016–2017 OpenAI был как академическая группа люди работали по 1–3 человека над whitepapers по своему вкусу. Например, был интересный проект Universe как попытка создать универсального RL-агента на сотнях видеоигр и веб-задач. Идея была правильной, но на 10 лет опередила время - тогда модели не генерализовались, система была неукдюжей. Позже пришли результаты в Dota и Procgen (эмуляция игр). Направление роботов тогда тоже было тупиковым, но полезным - оно прокачало команду на больших engineering-проектах и обучило людей системной работе.

3️⃣ Почему value functions не в моде?
В современном RLHF и verifiable rewards (даже на 10k+ токенов) функции ценности (value functions) не сокращают вариативность. Шульман ждёт их камбека, но пока Policy Gradient-методы побеждают на коротких горизонтах.[1]

4️⃣ Continual learning: long context + LoRA
По мнению Джона для непрерывного обучения нужны два фактора
1. In-context learning (long context) - для быстрого, short-horizon.
2. Parameter fine-tuning (LoRA) - для long-horizon knowledge, требующего ёмкости.
Scaling может решить проблему и без новых идей, но Шульман ждёт прорывов, которые сдвинут scaling laws.

5️⃣ Brittle generalization: люди vs модели
Модели круты in-context (как люди), но хуже на длинных горизонтах - застревают, где человек способен к само-коррекции. Почему? Люди заточены эволюцией на 80-летний таймлайн. Неясно, это временное или фундаментальное ограничение. Тестировать на десятилетия эквивалентно запуску evals на декады, что проблематично

6️⃣ Будущее reinforcement learning: GANs 2.0 и multi-agent игры
Шульман ждёт возврата идей из 2010-х:
- Co-training generators + verifiers (как GANs) - это про самоусиливайщийся цикл: лучше reasoning → лучше verifier → лучше generator.[1]
- Multi-agent games** (zero-sum/debate) - автоматический curriculum + теоретические гарантии из complexity theory (polynomial judge создаёт стимулы для сложных проблем (условно, NP-проблем)). Debate game от OpenAI/Anthropic - недооценённая идея.

В продолжении я расскажу про другие интересные тезисы, навроде подходов к руководству исследованиями или замедления получения прорывных результатов.

#Engineering #AI #Metrics #Software #Architecture #RnD #ML