Принципы работы Nested Learning и Titans вдохновлены идеями российских ученых

Google идет по дорожке, заданной учениками Михаила Бурцева — Юрием Куратовыи и Айдаром Булатовым из AIRI. Речь об их идеях по RMT, использованных при создании нового подхода к архитектурам.

У большинства мировых команд по созданию ИИ есть проблема с контекстом — модели забывают почти всё, что было дальше условных 50 страниц. При этом новые данные часто стирают старые. Недавно Google предложили рассматривать модели как набор вложенных оптимизационных задач. Их архитектура HOPE учится не просто предсказывать слова, но решать, что забыть, а что помнить вечно.

Звучит знакомо?

Одними из первых архитектур, реально работающих с длинным контекстом, были RMT/ARMT, начальную идею которых в 2020 году предложил Михаил Бурцев. А уже в 2022 году ребята из AIRI показали, что контекст можно расширять не в лоб, а архитектурно — через рекуррентные механизмы памяти. Смотрим в литературу, на которую ссылаются в Google, и видим те же тезисы.

В общем, парадигма развития разработки нейросетей не создается в вакууме — у неё есть авторы.