⚡️ В LLM-индустрии наметился исторический сдвиг. Нейросети физически научились вычислять.

Стартап Percepta опубликовал исследование (пока Proof of Concept), от которого гудит всё AI-комьюнити. Они впаяли виртуальную машину (WASM-интерпретатор) прямо в матрицу весов Трансформера.

В чем фундаментальная проблема?
Обычные ChatGPT и Claude не вычисляют математику, они её угадывают (отсюда галлюцинации в точных задачах). Сейчас это чинят костылями: заставляют ИИ писать Python-код и гонять его во внешней песочнице.

Percepta доказали: Трансформер способен исполнять сложнейший машинный код прямо внутри себя со 100% точностью🤯

Как это выглядит (чистый киберпанк):
Вместо генерации текста по экрану со скоростью 30 000+ токенов в секунду летит машинный код - нейросеть жонглирует регистрами и ветвлениями. Авторы скормили в веса самое сложное в мире судоку. Трансформер физически исполняет алгоритм поиска: подставляет цифру, ловит противоречие, делает откат (backtracking) и находит ответ. Никаких галлюцинаций, чистая логика.

Как они сломали ограничения?
Раньше так не делали из-за Attention Bottleneck. Классическая нейросеть на каждом шаге вынуждена перечитывать всю свою историю генерации. На миллионном шаге вычислений она бы просто сожрала всю память и умерла.
Авторы изобрели Exponentially Fast Attention - поиск данных в прошлом за логарифмическое время. Трансформер перестал тупить и начал прогонять миллионы шагов за секунды.

Прямой путь к AGI?🤖
В комменты под статьей уже пришел Андрей Карпаты выразить респект. И суть тут далеко не в создании быстрого калькулятора.

Современные LLM - это наше интуитивное, "быстрое" мышление (System 1). Программный код - это жесткая, детерминированная логика (System 2). То, что сделали Percepta - это чертеж того, как слить их воедино в одном «мозгу».

Если этот безошибочный математический сопроцессор смогут бесшовно скрестить с речевыми моделями, мы получим ИИ, который навсегда перестанет галлюцинировать в логике. Агентам больше не понадобятся внешние скрипты - тяжелейшие симуляции будут крутиться прямо внутри весов. И это уже не просто улучшение чат-ботов, это прямой, технически осязаемый мост к AGI.

Будем следить👀👀

Обсуждение тут https://x.com/ChristosTzamos/status/2031845134577406426