tl;dr по новому интервью Ильи Суцкевера у Дваркеша Пателя. Собрали самые яркие цитаты и мысли:

➖ Эпоха масштабирования моделей закончилась: мы возвращаемся в эпоху рисерча. Просто "вбухать еще больше компьюта" уже не работает: чтобы добиться существенного прорыва, нужны новые открытия.

➖ Узкое место текущих моделей – все еще генерализация. Это самое существенное, в чем ИИ отстает от человека, и, как следствие, основное препятствие на пути к AGI. Оценки на бенчах действительно выглядят хорошо и продолжают улучшаться, но это в какой-то степени мираж. Реальное качество отстает, потому что модели (в частности, во время RL) переобучаются под эвалы, а исследователи только способствуют этому, продолжая плодить однотипные бенчмарки и трейнинг лупы.

➖ Илья говорит, что у него есть идеи по поводу того, чего не хватает текущим моделям, но не делится ими, к сожалению. Хотя в интервью были намеки на то, что в SSI разрабатывают методы на основе Continual Learning и динамических reward функций.

➖ AGI может наступить и через 5, и через 20 лет. И когда AGI появится, самый надежный для людей способ не остаться бесполезными и сохранить контроль – слияние с ИИ (Neuralink???).

Все еще сильно советуем посмотреть полностью здесь