Лауреат премии Тьюринга Саттон вчера на NeurIPS разнес зал и показал карту, как дойти до AGI и объяснил, почему мы сейчас в жутком локальном минимуме

Коротко по пунктам, что он сказал и некоторые слайды его в комментариях у нас:

1. Современный ИИ — это замороженные артефакты человеческой культуры. Мы копируем людей, а не строим интеллект. Это тупик.

2. Горький урок всё ещё никто не понял. Урок не про больше параметров, а про то, что любые человеческие алгоритмы и архитектуры в долгосрочной перспективе проигрывают чистому обучению через опыт. Backprop он прямо назвал проблемным. Вспоминаем его статью.

3. Путь к суперинтеллекту — это агент, который:
- учится непрерывно всю жизнь
- сам изобретает всё более мощные абстракции и признаки
- сам ставит себе подзадачи
- сам строит модель мира и планирует
- и всё это без единой строчки человеческого кода для архитектуры и фичей

4. Это он назвал OAK (Options + Knowledge). На слайде — 8 шагов, которые крутятся параллельно в реальном времени. Семь из них уже ± решаемы. Один большой красный вопрос — как автоматически генерировать новые state features. Именно здесь сейчас стопор.

5. Цитата дословно:
«Super intelligence will come from the agent’s own experience, not from human datasets».

6. Он сказал, что индустрия ИИ во многом потеряла ориентиры из-за коммерции. Нужно возвращаться к continual learning, average-reward RL, meta-learning step-sizes, self-discovered knowledge.