Куда нам еще развиваться

У обывателей есть мнение, что у нас практически не осталось важных фундаментальных открытий в нейронках, знай себе тренируй новые сетки.
Но мне видится, что таких открытий у нас впереди как минимум два.

1) Механизм нативной работы с памятью.

Все текущие харнесы это по сути неуклюжие способы эмулировать память детерминированными алгоритмами. А для таких тонких материй детерминизм конечно же не работает, в итоге мы заваливаем это брутфорсом длинных контекстов, чтобы хоть как-то сходилась картинка.
Нужна нормальная нейросетевая память. Но я думаю, если бы память можно было породить брутфорсом трансформерной архитектуры, то ее бы уже сделали. А значит, нас ждут прорывы в этой области.

2) Движение и восприятие мира.

У людей и зверей есть целый огромный кусок мозга, отвечающий за координацию движений (мозжечок), устроенный не так, как весь остальной мозг.
Значит, в этом есть какая-то фишка, и для контроля движения нужна своя архитектура сеток, опять же, которой мало простого развития имеющихся.

Так что если вы курите фундаментальные исследования в этой области, обратите внимание на эти два направления.