Эксперимент с вымышленной болезнью: как ИИ распространяет дезинформацию

В 2024 году исследовательница из Гётеборгского университета Альмира Османович Тунстрем провела эксперимент, результаты которого обнажили критическую уязвимость систем искусственного интеллекта. Был создан несуществующий диагноз — «биксономания» — с вымышленными симптомами и причиной (воздействие синего света). Фальшивые научные статьи об этом заболевании были загружены в исследовательские базы данных.

Результат превзошёл ожидания:

· ИИ-системы (Google Gemini, Microsoft Bing) начали цитировать «биксономанию» как реально существующее редкое заболевание.
· Чат-боты, включая ChatGPT, стали давать пользователям рекомендации по симптомам, учитывая этот ложный диагноз.
· Научные журналы, включая издание Cureus, опубликовали статьи, ссылающиеся на поддельные работы (впоследствии статья была отозвана).

Эксперимент наглядно демонстрирует, как легко дезинформация проникает в рецензируемую научную среду и закрепляется в ответах популярных ИИ-моделей.

Ключевые выводы и опасения:

1. Угроза для здравоохранения. Эксперты выражают обеспокоенность, что ИИ, используемый для медицинских консультаций, может распространять ошибочные данные, создавая прямую угрозу для здоровья пользователей, доверяющих таким рекомендациям.
2. Отсутствие фильтрации. Проблема заключается в том, что современные системы не всегда эффективно фильтруют и проверяют достоверность информации, особенно если она имеет видимость научной.
3. Необходимость проверки. Исследователи подчёркивают срочную необходимость внедрения систем верификации достоверности для моделей ИИ, особенно в медицинской сфере, а также разработку стандартов регулярной проверки предоставляемых данных.

«Биксономания» — это не просто любопытный случай, а тревожный сигнал о том, как легко ложь, подкреплённая авторитетом «научных баз», может быть принята искусственным интеллектом за истину и растиражирована.

Как вы считаете, кто должен нести ответственность за достоверность медицинской информации, которую выдают ИИ-системы: разработчики, научное сообщество или регуляторы?

#новостИИ

Подписывайтесь на мой канал в MAX

Присоединяйтесь в группу ВК

ИИ в образованИИ💡