Welcome to the Era of Experience.

У Ричарда Саттона (автора самой популярной книжки по РЛ, а также bitter lesson) и Дэвида Сильвера (автора AlphaGo) вышла новая статья — Welcome to the Era of Experience. Эссе про bitter lesson я люблю, и во многом им вдохновляюсь в своей работе, поэтому и здесь сразу побежал читать. Не вижу смысла делать полный пересказ, такое стоит полностью от и до самостоятельно прочитать. Но попробую чуть-чуть заинтересовать:

1. Критикуют LLM’ки, RLHF, тюнинг под оценки человеческих экспертов и под успешные исходы диалогов, использование человеческого языка для ризонинга.

2. Оптимистично пишут про Deepseek, AlphaProof, computer use (агентов, взаимодействующих с миром через интерфейс компьютера), модели мира. Утверждают, что чтобы выйти за пределы человеческих возможностей, агенты должны учиться не на человеческих данных, а на собственном опыте. Этот опыт может включать фидбек от людей; но не от экспертов-разметчиков, а от пользователей. Очень сильно делают акцент на привязке всего происходящего к реальному миру, что награды должны быть связаны с реальным миром.

3. Часто приводят в пример сценарий ассистента, когда агент должен помогать пользователю в достижении долгосрочных целей, типа улучшения здоровья / изучения нового языка. Сценарий, когда цель агента — это совершить новые открытия / прорывы в науке, тоже упоминают.

В общем и целом вайб у статьи очень оптимистичный. Начинаешь верить, что это все действительно не за горами :)

А еще по мотивам статьи есть подкаст с Дэвидом.