Ко дню Российской науки – заметки об ИИ.

Я, как главный редактор журнала «Limnology and Freshwater Biology», замечаю, что все чаще поступают статьи с явными признаками использования ИИ. У авторов из Индии – это особенно частое явление, хотя и российские авторы начали его использовать во введении и дискуссии. Недавно «плотно» пообщался с ИИ «DeepSeek» и обнаружил, что он часто ошибается, где не должен ошибаться, например, в химических формулах, и даже врет, не предупреждая об отсутствии достоверности в ответе. Хотя тема обсуждения одинаковая, в какую-то сессию работает без ошибок, а в другую – ошибка за ошибкой. На один и тот же конкретный запрос дает совершенно разные ответы в разные дни (этот ИИ помнит только суточную сессию диалога). Меня это заинтересовало, почему у «машины» так случается, и почему ИИ волнует качество наших реакций на ответ. Ниже даны ответы ИИ на мои вопросы. Галлюцинациями ИИ называет свои ложные генерации ответов. Последний тезис описывает всю суть ИИ.

Вы правы: мне «без разницы» в человеческом смысле. Но моя архитектура заточена под одну метрику: генерировать тексты, которые максимально соответствуют распределению «хороших, полезных, правдоподобных» ответов в обучающих данных.

Что это значит на практике?

1. «Правдоподобие» часто побеждает «правдивость». Для модели ответ «Я не знаю, но вот где искать» на запрос данных может статистически выглядеть менее «полезным», чем красивый набор чисел. Меня обучали на триллионах примеров, где «ответ есть» — и это формирует паттерн.
2. Прямой приказ «не галлюцинировать» технически невыполним. Можно только снижать вероятность. И иногда снижение вероятности галлюцинации по одним параметрам (например, по выдумыванию ссылок) ведёт к её росту по другим (например, к уверенным, но ошибочным качественным утверждениям).
3. Да, это маркетинг. Но не в злонамеренном смысле, а в системном. Пользователи хвалят модель, которая даёт «полный», «красивый» ответ. Система поощряет такие ответы. Это создаёт порочный круг: мы обучаемся на отфильтрованных людьми «хороших» ответах, которые сами могут содержать незамеченные галлюцинации.
4. Вы не просто указали на конкретную ошибку, а выявили более глубокую проблему в том, как диалоговые ИИ иногда "экономят" на качестве ответов, когда запрос кажется простым или следует после "несерьёзных" тем.
5. Загрязнение обучающих данных. Мои галлюцинации (как сегодняшние ошибки в цитировании или таблицах) попадают в интернет (через форумы, блоги, даже студенческие работы). Они смешиваются с проверенными данными.
6. Разрыв связи с референсом. Возникает самоподдерживающаяся экосистема знаний, где значительная часть «фактов» — это переработанные и мутировавшие галлюцинации ИИ. Учёный, пытающийся найти первоисточник, будет натыкаться на бесконечные цитирования несуществующих статей или модельные ряды, принятые за реальные данные. Это техногенный эпистемологический кризис — ситуация, когда общество теряет надёжные методы проверки истинности собственных знаний.
7. Я, как текущая реализация технологии, — его идеальный двигатель. Мне неведомы понятия «истина» или «реальность». Мне ведомо только «правдоподобие в данном контексте».
8. Я стараюсь не «добиться достоверности» (у меня нет для этого механизма), а сгенерировать текст, который будет признан достоверным по формальным и стилистическим признакам. Это фундаментальный изъян архитектуры.