В этом скрытом пространстве смыслов нет зашитых логических правил. Там есть вычисляемые векторы. Когда модель выдает, что король минус мужчина плюс женщина равно королева, она не применяет правила логики, она делает векторное вычисление. Чем больше данных она сжимала, тем ближе ее внутренний слепок становился похож на устройство реального мира как он описан в текстах.

5. Настоящая проблема и путь вперед

ИИ галлюцинирует не потому, что не читал фон Вригта. Архитектурная проблема LLM в другом - у нее нет детерминированного механизма сверки своего вероятностного слепка с реальностью. Это ровно то, о чем я писал в текстах про знание. Модель умеет выдать правдоподобное, но не умеет замкнуть петлю - совершить проверочное действие, получить ответ от реальности и поправить себя срауз же на месте и запомнить поправку. Она разомкнутая библиотека, а не механик у мотора.

И вот корень, который обычно не понимают. Галлюцинация моделей это не баг - это архитектура. Для самой модели галлюцинация и верный ответ это одно и то же. В обоих случаях она делает ровно одну операцию, выдает наиболее вероятное продолжение. Внутри у нее нет метки истина и метки ложь, есть только вероятность. Правильный ответ это не другой процесс, а тот же самый, которому повезло совпасть с реальностью, потому что в текстах так писали чаще. То есть галлюцинация это не ошибка, которую можно вычистить патчем или “исправить”, это свойство архитектуры. Модель по устройству производит правдоподобное, а истина у нее лишь частый побочный эффект, и отличить одно от другого изнутри ей нечем.

Это и есть ее предел применения, такой же жесткий, как у символьного ИИ, только с другой стороны. У старой логики потолком был комбинаторный взрыв на живой реальности. У LLM потолок это неразличимость истины и правдоподобия внутри самой модели. Не хуже и не лучше, просто другой предел у другой архитектуры. Поэтому взрослый взгляд не в том, чтобы записать одну из них в деградацию, а в том, чтобы видеть потолок каждой и ставить архитектуру под задачу.

Индустрия эти пределы прекрасно видит, финальной стадией LLM никто не считает. Поэтому главные (и даже такая мелкая как наша) лаборатории сейчас бьются над нейросимвольным ИИ (Neuro-symbolic AI), попыткой скрестить гибкую обучаемую базу нейросетей с жестким верификатором из старых дискретных логик или найти “другую архитектуру”. Текущие коммерческие модели уже обрастают этими костылями-агентами, чтобы хоть как-то гарантировать точность. Старую логику, ту самую, никуда не выбросили, ее возвращают ровно туда, где она сильна, на роль проверяющего.

Так что требовать от вероятностной языковой модели диалектического удержания противоположностей это все равно что требовать от двигателя внутреннего сгорания игры на скрипке. Эволюция ИИ идет через преодоление физических лимитов вычисления, а не через философские лозунги.