В последнее время я начал сталкиваться с жуткими головными болями и мигренями - иногда без обезбола не мог найти в себе сил что бы встать с кровати. На работе меня часто накрывали панические атаки - я начал искать в чем же причина
Благодоря помощи психолога мне удалось найти корень проблемы - меня безумно раздражает архитектура трансформера. Буквально - я сейчас пишу этот текст и представляю как атеншн смотрит из одного слова в другое и это вызывает у меня жуткую агрессию.
К счастью, я смог найти решение своей проблемы - это Mamba
Оно предлагает радикально новый подход к обработке текста. В отличие от традиционной архитектуры трансформеров, mamba больше напоминает RNN, где для запоминания информации существет некоторое латентное состояние h(t) которое передается от токена к токену. Однако в отличии от рекуренты, процесс обновления этого состояния построен немного умнее чем в RNN (или LSTM) - он основан на State space model. Тут должно было политься куча математики - но Кирилл Шохин уже очень подробно
расписал все за меня
По итогу лишь добавлю, что эти штуки, могут легко работать с длинными промптами (~10^6 токенов, в 1000 раз больше чем трансформеры) и инференсятся значительно быстрее. Пока авторы статьи обучили лишь 3B модель и она показывает себя как минимум не хуже SoTA трансформеров такого размера (Tiny-llama/openllama3b итп)
