Как меняется внимание новейших LLM на примере Kimi K3, релиз весов которой ожидается 27 июля?
Эта модель реализует Kimi Delta Attention, еще одно поколение гибридного линейного внимания. На примере KDA видно, как фронтир-модели сейчас подступают вплотную к тому, чтобы создать искусственный аналог долговременной памяти.

У человека рабочая память и долговременная память — это не просто две памяти разного размера. Они используют разные механизмы: рабочая память — быстрое удержание и манипулирование небольшим количеством информации, долговременная память — реконструктивное извлечение ассоциаций, многократная консолидация, изменение самих нейронных связей.

У искусственных моделей до недавних пор долговременной памяти не было. Сами веса — это не память в полном смысле, они не хранят контекст. Классический трансформер функционирует, как главный герой фильма «Мементо» Леонард, у которого антероградная амнезия. Кратковременная рабочая память (KV-кэш) на месте, но в долговременной памяти ничего не откладывается — обычно у людей воспоминания формируются, когда они спят. В итоге Леонард был вынужден полагаться на систему заметок, по которым восстанавливал сжатое представление о самом себе каждый раз после «ресета» рабочей памяти — по сути использовал промпт.

Чтобы LLM обзавелись настоящей долговременной памятью, пришлось обратиться к опыту линейных рекуррентных моделей, особенно к идее State Spaces. Мы видим, как Self-Attention начинает играть роль рабочей памяти — дорогой, но очень точной, линейная рекуррентная память (KDA, DeltaNet) — роль непрерывно обновляемой долговременной памяти. Веса остаются аналогом очень долговременных знаний, что-то вроде глубоких подсознательных способностей человека, которые «зашиты» то ли в его ДНК, то ли где-то еще, о чем наука знает, я бы сказал, подозрительно мало.

Характерный пример линейной рекуррентной памяти — Gated DeltaNet, который успешно используется в гибридных моделях Qwen. А теперь KDA позволяет первой открытой модели с 2.8 триллионов токенов — Kimi K3 — работать с огромными контекстами, и мы можем ожидать, что механика ее инференса станет ближе к работе мозга с полноценной долговременной памятью.