Про низковисящие яблоки на пути к AGI

Яблоко №1

1. GPT-3 должен был просто продолжать тексты. Но обнаружилось, что он может в режиме чата периодически давать хорошие ответы и работать в режиме zero-shot.
2. GPT-3.5 (ChatGpt) и 4 был обучен давать хорошие ответы (инструктивный датасет) но обнаружилось, что он может периодически работать в режиме агента (программного робота).
=== Вы находитесь здесь ===
3. Следующие поколения моделей будут учиться на примерах того, "как быть агентными". В обучающей выборке должно быть много примеров автономного поведения в роли "решателя" комплексных проблем.

Я предполагаю, что на этом шаге мы можем увидеть такой же прирост качества агентов, что был у чатботов при переходе от GPT-3 к ChatGPT. Это самое низковисящее яблоко на пути к AGI.

Яблоко №2

Человеческий язык содержит тысячи концепций и понятий, на выявление и кристаллизацию которых люди потратили десятки тысяч лет и десятки миллиардов жизней. Например, представьте себе мир, где ещё не сформировано понятие музыки. И вот какой-то древний примат научился издавать приятную мелодию, ударяя по камням. Но самого слова ещё нет. Какие умственные усилия придется приложить ему и его сородичам, чтобы выделить этот феномен в отдельное понятие!

LLM получили все наши, человечества, открытия в области систематизации мира на старте, не прилагая усилий. Но дальше такой халявы не будет. Если для развития AGI понадобится создание новых концепций, то их придется находить уже самому ИИ и его разработчикам без помощи людей из прошлого. Это яблоко мы уже сорвали.

Яблоко №3

В недавно нашумевшей работе Language is primarily a tool for communication rather than thought приводятся доводы в пользу того, что язык не является основным инструментом мышления. Прочитав эту работу, я сделал такой вывод - в ней показано, что язык и зоны мозга, которые ответственны за его обработку (Брока, Вернике) являются транспортными для загрузки концепций в более глубокие области мозга. Но то же самое мы наблюдаем у моделей, когда понятия из разных модальностей могут объединяться в глубоких слоях в общие сущности (речь не про модели с адаптерами). Таким образом мультимодальность, на мой взгляд, является ещё одним низковисящим яблоком на пути к AGI.