Subquadratic показала AI-модель SubQ с контекстом до 12 миллионов токенов.

Для сравнения: у большинства топовых моделей сейчас лимит около 1 миллиона. SubQ может работать с огромными кодовыми базами, книгами и документами без разбиения на части.

Разработчики говорят, что благодаря sparse attention модель обходится дешевле GPT и Claude при работе с большим контекстом. Сейчас открыт только ранний доступ.