📱 Google представил революционный подход к долгосрочной памяти в ИИ моделях через архитектуру Titans и фреймворк MIRAS. Основная инновация заключается в том, что модели теперь могут обновлять свою память в реальном времени с высокой точностью и скоростью.
Titans — это архитектурное решение, не требующее более новых чипов. Оно может работать на текущих GPU/TPU без модификаций и не требует полного переобучения моделей. Модели начнут обучаться в ходе взаимодействия с пользователем, как люди учатся из опыта.
Благодаря линейной сложности алгоритма Titans требует значительно меньше памяти на картах, чем трансформеры. В целом, произойдет размывание границы между "обучением" и "инференсом".
Мы прогнозируем массовый переход на данный тип архитектур к концу следующего года.
Ключевые механизмы Titans:
✅ Вместо фиксированных векторов/матриц используется многослойный перцептрон, обеспечивающий экспоненциально большую мощность.
✅ Модель селективно обновляет память на основе неожиданности информации — низкий сюрприз означает, что информация предсказуема и может быть пропущена, высокий сюрприз означает критическую важность.
✅ Система учитывает как текущую неожиданность, так и недавний контекст, при этом используя механизм адаптивного "забывания" для управления конечной ёмкостью памяти при экстремально длинных последовательностях.
Фреймворк MIRAS переосмысляет все архитектуры последовательного моделирования как вариации одной фундаментальной задачи: эффективного комбинирования новой информации со старыми воспоминаниями.
Эта разработка Google важна, потому что современные модели ограничены своим контекстным окном от 32 тыс. до 1 млн токенов, которое частично имитирует оперативную память. Однако длинный контекст — не то же самое, что долгосрочная память. Некоторые исследование показали, что модели испытывают "потерю внимания из середины" — они забывают информацию из середины контекста, сосредотачиваясь на начале и конце.
В настоящее время проблема памяти частично решается RAG. Однако этот подход имеет фундаментальные ограничения: требует запуска отдельного модуля поиска, добавляет задержку на 100-500 мс, и не позволяет модели по-настоящему "помнить" информацию – поиск будет происходить каждый раз заново.
Titans — это архитектурный сдвиг, сравнимый с появлением трансформеров в 2017 году. Это фундаментальное решение проблемы, которая преследовала LLM с момента их появления. С нетерпением ждем бета-версий в Q1-Q2 2026 и широкого коммерческого распространения к концу года.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться