🧠 Когда ИИ “тупит” - он буквально сжимает свой мозг

Есть наблюдение, которое меняет взгляд на то, как думают LLM.

Когда модель уверена - она “думает широко”.
Активно много нейронов, сигнал распределён, знания подтягиваются из разных мест. Это похоже на опытного инженера, который держит в голове несколько решений одновременно.

Но стоит задать что-то нестандартное - сложную математику, противоречивые факты или просто out-of-distribution вопрос - происходит неожиданное.

Модель резко “сжимается”.

Вместо широкой активации остаётся узкий, почти точечный сигнал в последнем слое.
Как будто система перестаёт опираться на накопленный опыт и пытается выжать ответ из минимального набора признаков.

Фактически - она теряет распределённую память и уходит в узкую специализацию на лету.

И вот здесь самое интересное.

Мы обычно не понимаем, что модель “поплыла”, пока не получаем неправильный ответ.
Но оказывается - она сама сигналит об этом внутри.

Этот “коллапс активации” можно измерить как конкретное число.
Не эвристика, не guesswork - прямой сигнал.

А значит:

можно в реальном времени понимать, что задача для модели сейчас слишком сложная
можно автоматически упрощать запрос
можно добавлять промежуточные шаги
можно управлять reasoning, а не просто надеяться на него

По сути, это шаг к self-aware inference - когда система сама знает, что не справляется.

И это уже не про “сделаем модель больше”.
Это про управление мышлением модели в процессе.

Если коротко - LLM не просто ошибается.
Она сначала “схлопывается”, и только потом начинает нести чушь.

arxiv.org/abs/2603.03415

🐍 полезные ресурсы 🚀Max

@machinelearning_books