Новые архитектуры Google вдохновлены идеями ученых из института AIRI. С их помощью Google пытается решить проблему «забывания» и бесконечного контекста.

Базу для этого заложили в России еще в 2020-2022 годах. Речь о работах по Recurrent Memory Transformer и идее токенов памяти — их создали Юрий Куратов, Айдар Булатов и Михаил Бурцев. Они первыми показали, как помочь ИИ обрабатывать миллионы токенов через архитектуру, а не просто наращивая мощности.

Google ссылается на эти работы напрямую — у исследований уже больше 800 цитирований. Теперь это база для любого AGI, а стандартом проверки памяти стал бенчмарк BABILong от той же команды.