Исследователи из George Washington University математически доказали: галлюцинации AI — не баг, а физическое свойство архитектуры. И вывели формулу, позволяющую предсказать момент срыва.
Суть открытия простыми словами:
Представьте каждое слово в ChatGPT,- как магнит в многомерном пространстве.
Когда вы пишете промпт — вы ставите первые магниты на доску.
AI смотрит на их общее «магнитное поле» и выбирает следующее слово-магнит, которое лучше всего к нему притягивается.
Проблема: после определенного количества «правильных» слов система внезапно переключается на «неправильные» — даже если промпт был корректным.
Техническая механика срыва:
• Attention head (базовый блок любой LLM) работает как система взаимодействующих спинов
• Каждое взаимодействие = физический гамильтониан: H = −S₁·S₂
• Система всегда выбирает состояние с минимальной энергией
• Критический момент: когда «плохой» контент становится энергетически выгоднее «хорошего»
Формула срыва — когда AI начнёт галлюцинировать:
n* = [сумма взаимодействий промпта с хорошим/плохим контентом] /
[разница энергий между хорошим и плохим контентом]
Число n* показывает, сколько правильных токенов выдаст модель до срыва.
И это «зашито» с момента старта ответа — все векторы уже определены обучением и вашим промптом.
Судьба предопределена. :)
Почему в больших моделях проявляется хуже:
В многослойных LLM (типа GPT-4) происходит эффект усиления:
• Токены проходят десятки слоёв, испытывая «слияние и расщепление»
• Формируются гигантские кластеры, объединяющие правильный и неправильный контент
• К финальному слою они оказываются в одном подпространстве → срыв неизбежен
«Чем больше слоёв в модели (L_LLM), тем выше вероятность формирования супер-токенов, смешивающих хороший и плохой контент»
Предложенные решения:
1. Gap cooling — увеличение «расстояния» между правильными и неправильными ответами в пространстве смыслов перед критической точкой
2. Temperature annealing — динамическая регулировка «температуры» генерации для баланса между креативностью и стабильностью
Практическая ценность:
• Формула универсальна — работает для любого размера словаря и будущих версий ChatGPT
• Можно заранее оценить риск галлюцинаций для конкретного промпта
• Модели смогут предупреждать о приближении к точке срыва
Вывод: галлюцинации очень похожи по сути на физические процессы, а значит физика же и может помочь их снизить или даже убрать.
#Physics #галлюцинации
———
@tsingular