Ты спрашиваешь у нейронки рабочую инфу — дату релиза отчёта конкурента или ссылку на нужный закон. Она выдаёт чушь, уверенно, без тени сомнения. Переспрашиваешь — снова бред, только другой. И да, обязательно добавит тупой уточняющий вопрос: «А вы хотели бы узнать ещё что-то?» Знакомо?

А теперь представь, что это не твой личный чат, а бот поддержки банка, который врёт клиентам про ставки. Или врач, которому «лень смотреть снимок», доверяет ассистенту, а тот придумывает диагноз. Бесит и страшно одновременно.

Ребята в OpenAI решили докопаться до корня. В новом исследовании они показали: проблема в том, как модели учат. Сейчас обучение построено как школьный тест: за угаданный ответ ставят полный балл, а за честное «не знаю» — ноль. В итоге системе выгоднее пиздеть с видом эксперта.

В эксперименте OAI задавали GPT-4 простые фактологические вопросы — даты рождения и названия диссертаций. Каждый раз модель отвечала уверенно, каждый раз разными словами и каждый раз неправильно. Уверенность — 100%, точность — ноль.

Последствия для рынка — жёсткие.

В медицине, по данным JAMA Network Open(2023), до 18% советов от AI-ассистентов содержали ошибки, но поданы они были «как истина».

В юриспруденции исследование Columbia Law Schoolпоказало: до 30% сгенерированных ссылок на судебные прецеденты — фейковые.

Microsoft раскатал Copilot на 100 млн пользователей, и жалобы на «уверенный бред» — самые частые. Anthropic и Google уже влили $500M+ в «фактуальные апдейты», но ни одна компания пока не решила проблему.

Можно ли это починить? OpenAI предлагает штрафовать модель за «уверенную ложь» сильнее, чем за признание «не знаю». Теоретически это меняет стимулы и делает системы честнее. Но есть риск: метрики точности по старым тестам просядут, и сравнивать модели станет неудобно. Anthropic делает ставку на «конституционное обучение», где модель учится у правил, а Google экспериментирует с внешними факт-чекерами. Консенсуса нет: одни верят, что переписав метрику, проблему уберут, другие считают, что галлюцинации — фундаментальное свойство генеративных систем.

И что?

Для бизнеса: рынок «анти-галлюцинаций» в AI — это десятки миллиардов. Только медицинский сегмент: в США 200+ тыс. клиник, рынок мед-теха $300 млрд, и до 18% ответов ассистентов сейчас — ошибки. В юрсфере — 1,3 млн юристов и $437 млрд рынок легал-теха. Компании готовы платить за надёжные движки, потому что каждая ошибка обходится в миллионы долларов.

Для инвесторов: кандидаты на рост — OpenAI (новая метрика), Anthropic (конституционное обучение), Google DeepMind (факт-чекеры), Microsoft Copilot (100 млн пользователей). Плюс стартапы в области «truthful AI» и специализированные B2B-сервисы для медицины и юрпрактики. Это новый вертикальный рынок, где первые «честные» решения могут перехватить клиентов у старых игроков.

Для человечества: если индустрия договорится о штрафах за уверенный бред, это станет шагом к AI-системам, которые работают по правилам и уважают границы. Чуть медленнее рост функций, но гораздо быстрее — рост доверия.

🚨 Нам 3.14здец

Колл-центры и саппорт — 9/10. Сегодня 17 млн человек по миру сидят на телефонах и чатах. Галлюцинации были их единственным спасением: компании не рисковали ставить ботов. Как только бред уберут, бизнесу похуй — заменят людей агентами пачками.

Юристы-младшики — 8/10. Миллион+ человек в США гоняют бумаги и ищут прецеденты. Пока AI врёт, партнёры не доверяют. Сделают модели честными — и эти ребята первые под нож.

Медсестры и помощники врачей — 8/10. 200 тысяч клиник в США держат персонал только потому, что AI галлюцинирует. Исправят — и половину рутинных задач отдадут агентам.

Бухгалтерия и финаналитики — 7/10. Ошибки в цифрах держат людей на месте. Если AI перестанет путать дебет с кредитом, спрос на людей резко упадёт.