Google AI Overviews: «умные сводки» продолжают ошибаться

Пока Google продолжает встраивать везде AI, новое расследование The Guardian показало, что AI Overviews генерировали опасно неправильную информацию по медицинским запросам, что могло привести к риску для здоровья:
▪️В одном случае при запросе «нормальные диапазоны анализов печени» AI Overview выдал набор чисел без учёта пола, возраста и других ключевых параметров, что может внушить ложное чувство безопасности человеку с серьёзным заболеванием.
▪️Анализы по другим запросам о панкреатите или раке также содержали неправильные или упрощённые рекомендации, которые эксперты назвали опасными или вводящими в заблуждение.

В ответ на это Google удалил некоторые из таких AI Overviews, но эксперты предупреждают, что система всё ещё может формировать неправильные результаты на слегка изменённые запросы.

🔍 Предыдущие кейсы:
🔹Концерт канадского музыканта был отменён, потому что AI-сводка Google перепутала его с другим человеком и приписала ложную негативную информацию. Ошибка ИИ привела к прямым репутационным и финансовым последствиям.

🔹Анализ 101 запроса по личным финансам показал, что в ~37% случаев AI Overviews давали вводящую в заблуждение или неверную информацию (например, вопросы инвестировании, студенческих кредитах и страховании), что может повлечь финансовые потери, если воспринимать ответ как факт.
🔹Анализ Choice Mutual включал 1000 распространенных запросов по теме страхования здоровья/жизни и было обнаружено, что 57% ответов AI Overview содержали ошибки. Например, система утверждала, что пожилые люди старше 85 лет могут приобрести полисы без медицинского обследования, что не соответствует реальности, и давала неполные объяснения о правилах Medicare.
🔹Пользователи и журналисты сообщали о других случаях, где AI Overviews давал неправильные советы по видеоиграм, вводя игроков в заблуждение о механиках и стратегиях; путал год (например, утверждал, что сейчас 2024 или 2025 неверно); иногда изобретал факты или ссылался на несуществующие данные, использовал недостоверные или сатирические источники (например, шутки Reddit или Onion), выдавая их как факты, не всегда корректно интерпретировал контекст или нюансы языка, что приводило к ошибочным ответам.

❕AI Overviews создают эффект авторитетного «ответа от Google», но по факту остаются вероятностной генерацией. Чем глубже такие системы встраиваются в Gmail, Search и Workspace, тем выше риск, что мы доверяем ИИ больше, чем источникам. Не забывайте проверять информацию!

#UXWatch
————
@pattern_ai