Нашел время для технического разбора линейной рекуррентной памяти вообще и KDA в частности —
https://pikabu.ru/story/kak_rekurrentnaya_pamyat_otkryivaet_novyie_vozmozhnosti_dlya_llm_na_primere_kimi_k3_14198121
плюс мои комментарии о том, как работает AttnRes в Kimi K3
Post #195
1.11K