Subquadratic — стартап из Майами с 11 PhD в команде и $29M инвестиций. Их первая модель построена на субквадратичной архитектуре.
Обычный трансформер считает связи между всеми парами токенов, поэтому вычисления растут квадратично. В случае с SSA модель находит только значимые связи, и вычисления растут линейно. По заявлению компании, такой подход приводит к ~1000 раз меньшему количеству вычислений на длинных контекстах.
Результат: 12 млн токенов в одном промпте. Для масштаба: это весь исходник Python 3.13 (~5.1M токенов), загруженный дважды!, а на сдачу ещё остаётся место как у двух Opus 4.7 с контекстом в 1M :D
На бенчмарке RULER 128K SubQ показал 95% точности при стоимости $8 против 94% у Claude Opus за ~$2600.
Пока модель доступна только с контекстом в 1M токенов через API, а 12M исключительно по запросу. Бенчмарки только от самой компании, независимых проверок ещё не было. Так что возбуждаемся, но осторожно!
@ai_for_devs