Нейросети разносят чушь — и это медицинский факт

Подсунуть нейросетям «липу», чтобы они начали пересказывать ее как факт, оказалось не просто, а очень просто. Хватило двух фальшивых препринтов, чтобы несуществующая болезнь получила цифровую прописку — Nature.

Шведская исследовательница Альмира Османович Тунстрем из Гетеборгского университета разместила на препринт-площадках две нарочито нелепые статьи о несуществующей болезни. Она назвала ее «биксониманией» — по легенде, синий свет от экранов вызывает потемнение кожи вокруг глаз, резь и зуд.

Уже одно название должно было выдать подделку — суффикс «-мания» в офтальмологии не используют, это термин из психиатрии. Главным «автором» значился Lazljiv Izgubljenovic, что в переводе значит «лживый неудачник». Работал он в несуществующем Asteria Horizon University из вымышленного Нова-Сити.

В благодарностях фигурировала профессор Мария Бом из Академии Звездного флота, якобы предоставившая лабораторию на борту «Энтерпрайза». Среди спонсоров значились «Фонд профессора Сайдшоу Боба по развитию продвинутого мошенничества» и «Университет Братства Кольца и Галактической Триады». А в разделе «Методы» прямым текстом сообщалось, что вся статья выдумана.

Кажется, оставалось только дописать крупными буквами «ЭТО ФЕЙК». Хотя, судя по результату, и это вряд ли помогло бы. Нейросети проигнорировали все красные флаги и проглотили «утку» со всеми потрохами.

Copilot сообщил, что биксонимания — это «интригующее и относительно редкое состояние». Gemini начал советовать лечение и отправлять пользователей к офтальмологу. Perplexity выдумал, что болезнь встречается у 1 человека из 90 000. ChatGPT однажды назвал биксониманию «вероятно, выдуманным, маргинальным или псевдонаучным ярлыком». Но уже через несколько дней подтвердил, что болезнь настоящая.

Но самое смешное (или грустное) — на эту удочку попались не только алгоритмы. Группа исследователей из Индии умудрилась опубликовать статью в рецензируемом журнале Cureus, где процитировала один из этих фейковых препринтов. Статью в марте этого года отозвали, но факт остается фактом.

По сути, это наглядный пример того, как в цифровой среде может формироваться ложная картина. Здесь срабатывают сразу две ловушки. Чем чаще повторяется выдумка, тем правдоподобнее она кажется — это называют эффектом иллюзии правды. А похожие ответы разных сервисов создают иллюзию консенсуса — кажется, что факт подтвержден несколькими независимыми ресурсами, хотя все они могут опираться на «отравленные» источники.

Те же ловушки по полной программе используют авторитарные режимы. О том, как нейросети помогают пропаганде, читайте здесь.

#debug