Почему галлюцинации LLM — это математическая неизбежность

Владимир Крылов (профессор математики, консультант Artezio) разобрал фундаментальные ограничения LLM в разработке.

Ключевое из интервью:

→ Галлюцинации доказуемо неустранимы. Существует теорема: для любого вычислимого множества найдётся вход, на котором модель ошибётся. Это не вопрос масштаба или архитектуры.

→ Reasoning увеличивает ошибки. 33-48% галлюцинаций у reasoning-моделей против 0.7-1.5% при использовании RAG. Аугментация контекста эффективнее цепочек рассуждений.

→ Большое контекстное окно не решает проблему кодовых баз. U-образное распределение attention: начало и конец обрабатываются, середина теряется. Межфайловые зависимости модель не видит.

→ Практический вывод: сжатые представления репозитория + RAG + работа с изолированными модулями дают лучший результат, чем загрузка всего проекта в контекст.

→ Модель становится commodity. Конкурентное преимущество смещается к экосистеме агентов и инструментов.

В интервью также: ситуация с OpenAI и Google, почему Anthropic лидирует в code generation, перспективы символических процессоров.