Эксперимент с вымышленной болезнью: как ИИ распространяет дезинформацию
В 2024 году исследовательница из Гётеборгского университета Альмира Османович Тунстрем провела
эксперимент, результаты которого обнажили критическую уязвимость систем искусственного интеллекта. Был создан несуществующий диагноз — «биксономания» — с вымышленными симптомами и причиной (воздействие синего света). Фальшивые научные статьи об этом заболевании были загружены в исследовательские базы данных.
Результат превзошёл ожидания:
· ИИ-системы (Google Gemini, Microsoft Bing) начали цитировать «биксономанию» как реально существующее редкое заболевание.
· Чат-боты, включая ChatGPT, стали давать пользователям рекомендации по симптомам, учитывая этот ложный диагноз.
· Научные журналы, включая издание Cureus, опубликовали статьи, ссылающиеся на поддельные работы (впоследствии статья была отозвана).
Эксперимент наглядно демонстрирует, как легко дезинформация проникает в рецензируемую научную среду и закрепляется в ответах популярных ИИ-моделей.
Ключевые выводы и опасения:
1. Угроза для здравоохранения. Эксперты выражают обеспокоенность, что ИИ, используемый для медицинских консультаций, может распространять ошибочные данные, создавая прямую угрозу для здоровья пользователей, доверяющих таким рекомендациям.
2. Отсутствие фильтрации. Проблема заключается в том, что современные системы не всегда эффективно фильтруют и проверяют достоверность информации, особенно если она имеет видимость научной.
3. Необходимость проверки. Исследователи подчёркивают срочную необходимость внедрения систем верификации достоверности для моделей ИИ, особенно в медицинской сфере, а также разработку стандартов регулярной проверки предоставляемых данных.
«Биксономания» — это не просто любопытный случай, а тревожный сигнал о том, как легко ложь, подкреплённая авторитетом «научных баз», может быть принята искусственным интеллектом за истину и растиражирована.
Как вы считаете, кто должен нести ответственность за достоверность медицинской информации, которую выдают ИИ-системы: разработчики, научное сообщество или регуляторы?
#новостИИ
Подписывайтесь на
мой канал в MAXПрисоединяйтесь
в группу ВКИИ в образованИИ💡