«Я как-то слышал в одном из стримов, где приглашались эксперты по ИИ, что одним из недостатков ИИ является отсутствие человеческого опыта. Например, многое в человеческом общении основано на невербальных сигналах, тоне, контексте и знаниях, которые настолько очевидны, что мы их даже не проговариваем. И понимание, способность считывать те же невербальные сигналы, в наш мозг записывается в процессе сравнительного анализа и переживания — как некая надстройка или информация в информации, как матрёшка.
Но сам исторический контекст, влияющий на содержание невербального языка в том или ином обществе, постоянно меняется с течением времени. А сейчас, когда история сжата до предела, эти контекстные изменения могут происходить очень быстро. Соответственно, у ИИ должна постоянно обновляться база данных о том, что означает, например, тот или иной жест на текущий момент, и желательно знать ещё, что он означал раньше, потому что исторические изменения происходят неравномерно».
Дальше я предполагал, что опыт представляет собой как минимум двухуровневую систему записи информации: память знания чего-либо до определённой точки во времени и после неё.
«Без памяти о прошлом знании или опыте новый слой опыта является просто новой информацией, которой невозможно оценить относительно чего-либо — относительно предыдущих знаний, менее точных или ошибочных».
Отсюда возникла мысль о временной оси личности:
«В целом, жизненная модель и есть нечто, чей вектор направлен не столько в пространстве, сколько во времени. Чего мы достигли на жизненном пути за N-ое количество времени или в N-ой точке времени? Какими были 10 лет назад и какими сейчас? Что было важно для нас 10 лет назад и что сейчас? Однако эта модель имеет своё продолжение в будущем. Это стимулирует моделирование, позиционирование и прогнозирование себя относительно того, кем мы должны стать в будущем. Как с этим обстоят дела у ИИ? Есть ли у него эта ось?»
Недавняя статья Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories рассматривает близкую проблему в инженерной плоскости.
У современной языковой модели есть далёкое прошлое, закреплённое в параметрах во время обучения, и непосредственное настоящее, помещающееся в контекст разговора. Знания, приобретённые внутри текущей сессии, обычно не переходят в долговременные параметры. Авторы сравнивают такое устройство с антероградной амнезией.
В другом своём тексте я описывал это образом свитка:
«Записывая эти процессы на свиток, мы увидим, что каждый временной отрезок соответствует чуть изменённой нейросети, а лишь вся длина свитка даёт её целостное описание».И далее:
«Свиток обрывается — начинается новая запись. Это похоже на создание мимолётных сущностей, не связанных между собой».Авторы статьи предлагают сшивать такие состояния посредством чередования условного бодрствования и сна. Во время бодрствования модель получает новый материал. Во время сна часть временно усвоенного знания переносится в более устойчивые параметры, обобщается и связывается с уже имеющимися структурами.
В моём прежнем рассуждении итоговая формула выглядела так:
«Опыт — это не только некие отдельные кластеры информации, но и каскад этих кластеров, нанизанных на алгоритмическую ось, выстроенную по оси времени».
Исследователи занялись одним из технических условий возникновения такой оси: переносом временно усвоенного содержания в последующие состояния модели.
Продолжение...