Не всё то золото, что блестит. Или как Deloitte поплатился за галлюцинации модели 4o

Вряд ли для кого-то будет сюрпризом, что крупные компании все активнее используют ИИ в своей работе. Но многие при этом забывают, что нейросети на текущем этапе их развития — это всего лишь инструмент, результаты работы которого нужно проверять человеческими глазами и руками. В Deloitte вот не знали.

Что случилось? Deloitte Australia возвращает $440 тыс. правительству после скандала с отчетом, написанным с помощью GPT-4o. Документ для Департамента занятости должен был оценить систему автоматизации штрафов получателей пособий, но оказался полон ошибок: несуществующие источники, выдуманные цитаты и неправильно написанное имя судьи.

Проблемы выявил академик Кристофер Радж, заподозрив использование генеративного ИИ. В обновленной версии отчёта Deloitte признала применение модели GPT-4o «для устранения пробелов в документации». Однако исправления лишь усугубили ситуацию — ложные ссылки заменили множеством новых, не связанных с содержанием отчёта.

Главная фальсификация — цитата якобы из решения по делу Deanna Amato v Commonwealth, где GPT-4o придумал высказывание о «бремени доказывания» и перепутал имя судьи. Радж заявил, что методология отчёта не имеет научной основы, а рекомендации нельзя считать достоверными.

Сенатор-лейборист Дебора О’Нил язвительно заметила: «У Deloitte проблемы с человеческим интеллектом. Лучше бы правительство оформило подписку на ChatGPT».

Ситуация кринж: заказываешь отчет за почти полмиллиона баксов, а в итоге получаешь нейрослоп с ошибочными выводами и кривыми ссылками. Хотя по своему опыту могу сказать, что при подготовке материалов сам использую и GPT, и Perplexity, но информацию из первоисточников всегда перепроверяю и погружаюсь в контекст. Финальное решение все-таки за мной, а не за черной коробкой, которая называется ИИ. Потому что не раз замечал, что тот может откровенно нести чушь и интерпретировать факты так, как ему угодно.

Вывод один: доверяй, но проверяй.