ИИ в поисковике Google врёт в беспрецедентном масштабе 🤩

Офигела от того, что каждую минуту Google выдаёт сотни тысяч ложных ответов через свои ИИ-сводки — и большинство людей даже не догадываются об этом. Стартап Oumi прогнал 4326 запросов через отраслевой тест точности SimpleQA — сначала на модели Gemini 2, потом на Gemini 3.

Результат: новая версия ошибается в 9% случаев. Звучит терпимо — пока не считаешь масштаб. Google обрабатывает 5 триллионов поисков в год, значит неверные ответы сыплются со скоростью ДЕСЯТКОВ МИЛЛИОНОВ В ЧАС.

Но есть нюанс поинтереснее. Gemini 3 стал точнее, однако одновременно начал чаще давать «безосновательные» ответы: в 56% случаев ссылки в сводке ведут на сайты, которые вообще не подтверждают написанное — против 37% у предыдущей модели. То есть найти ошибку стало еще труднее.

Google назвал исследование «с серьёзными пробелами». Правда, собственные тесты компании показали, что Gemini 3 ошибается в 28% случаев. Вывод один — гуглите, как гуглили наши предки 🤩

@creativethecreator