AI: Что дальше?

Помните выступление Илья Суцкевера про то, что у нас заканчиваются данные? Или Джима Фэна, что данных для тренировок очень мало (пока) и их решение с симуляциями? Мне стало интересно, где ожидается следующий анлок для тренировки и на эту тему очень зашла статья Джека Морриса, ключевые пункты и мои мысли в связи с ними ниже:

1) Тренировка на новом корпусе данных = прорыв
Каждый новый прорыв в AI был благодаря тому, что мы научились тренироваться на новом корпусе данных: ImageNet —> AlexNet, WWW —> трансформеры, оценки людей —> RLHF, автоматические оценки AI —> RLAIF reasoning модели. Последний пункт очень важный: я на апдейте говорил, что основные улучшения последних моделей именно в кодинге, математике и тп. Почему? Потому что легко верифицировать результат. Я ожидаю наибольших прорывов в ближайшие месяцы в ризонинге именно в областях/скиллах, которые легко верифицируются: помимо кодинга и математики это анализ данных, биология, определенные области физики и химии.

2) Где тогда ждать следующий прорыв?
На каком корпусе данных нам надо научитьсь тренироваться и мы не можем это сделать текущими моделями? Пара гипотез от автора:
1) Видео - Google и YouTube ожидаемо тут фавориты и, возможно, мы видим ранние сигналы с veo3
2) Данные с сенсоров роботов - не забываем, что роботакси и self-driving cars тоже роботы, и Waymo с Tesla тут имеют очень хороший задел. Но и разработчики гуманоидных роботов - безусловно!

3) Мои мысли
Про видео и данные роботов - полностью согласен и мы говорили про это. Я еще попробовал прикинуть какие корпусы данных тяжело верифицируются и оттолкнуться от этого в ожидани прорыва:
- Юмор
- Писательство в широком смысле слова: фикшн, сценарии к фильмам, нарративы
- Эмпатия и понимание эмоций - хоть и связано с юмором, но немного стоит в сторонке.
- Этика и философия - что такое хорошо и что такое плохо
- Поведение сложных социальных систем - тяжело предсказывать из за высокой сложности, я говорил про это на лекции про теории сложности
- Мысли людей o__O

А вы как считаете?