У Дваркеша, главного AI-подкастера, вышло интервью с одним из отцов-основателей машинного обучения, автора RL — Ричардом Саттоном.

И Саттон не подвёл. Дед на аудиторию главного мейнстримного эйай-бро подкаста заявил, что:
- LLM это тупиковая ветвь эволюции,
- парадигма фундаментально ложна,
- любые подходы без целей/вознаграждений и системы непрерывного обучения в опыте обречены на провал.

У внимательного читателя может возникнуть дежа вю, ведь Саттон не первый «отец современного ML» с такими тейками — примерно в том же духе уже несколько лет высказывается и Ян ЛеКун. А если вы поняли шутку про дежа вю, то вам и вовсе пора в рехаб.

Твиттер, ожидаемо, бурлит. К логике Саттона сложно прикопаться, да и авторитет у деда неимоверный. С другой стороны, слишком уж хорошие результаты показывает LLM-подход последние годы, и за это время было выдвинуто несколько действительно красивых гипотез, почему оно всё-таки вертится.

Здесь конечно можно посмеяться над наивными эяйбро, которых коварный Сэм Альтман с его придворными твинками обратили в секту языковых моделей; но дискуссия правда интересная, и с кучей неожиданных тейков с каждой из сторон.

На скриншоте один, от которого заскрежетали неизвестные шестерни в моей собственной голове; мысль настолько же простая, насколько невидимая ровно до того момента, как была произнесена ясно: а что именно имитирует LLM?