Линейный аттеншн все реальнее

Subquadratic опубликовали техрепорт SubQ 1.1 Small с независимыми эвалами от Appen и там все красиво: выбивает 100% в Needle-In-A-Haystack (NIAH) на 1M–2M контексте, 98% на 12M и 89.7% pass@4 на LiveCodeBench.

Я уже писал про них, когда они только появились и после публикации первых независимых бенчмарков. Теперь есть техрепорт, правда все еще без конкретных подробностей про механизм SSA, но кое-что из него уже понятно.

Они взяли существующую открытую модель, заменили dense attention на SSA, а затем дообучили ее на длинных данных. Контекст расширяли стадиями: 262K → 512K → 1M → 2M, используя YaRN; основная часть дообучения была на 1M токенов, немного — на 2M.

Тем не менее остается еще много мутных моментов. Звучат они очень амбициозно и если все правда, то действительно «субагенты больше не нужны» (а заодно RAG и прочие костыли для управления контекстом), но я не исключаю, что на практике получится близко к результатам Kimi Linear.

В общем, ждем доступа и нормальных проверок на реальных задачах.

@devspotting