Исследователи из Фуданьского университета придумали несуществующую методику — с выдуманными аббревиатурами и статистикой — и заплатили $14 сервису «продвижения бренда в ответах ИИ». Через 28 минут vendor опубликовал 13 постов на Sohu, Toutiao и Zhihu. Менее чем через час Doubao, чат-бот ByteDance с 382 млн месячных пользователей, уже цитировал один из этих постов как факт.
Проблема: поисковые ИИ-ассистенты доверяют веб-источникам. Если выдачу засорить дешёвыми фейками, модель начинает повторять их с уверенностью. Для взлома самой модели не нужно — достаточно «отравить» индексируемый контент.
Урок: разработчикам ИИ-поиска с генерацией ответов (RAG) стоит встроить проверку источников, репутационные фильтры и защиту от SEO-отравления ИИ. Пользователям — не принимать цифры и «исследования» из чата без проверки первоисточника.
Кому полезно: команды, которые подключают LLM к поиску; риск-менеджеры; фактчекеры.
Оговорка: исследование сосредоточено на Doubao и китайском поисковом ландшафте, но механика переносима на любые ИИ с веб-поиском.
━━━━━━━━━━━━━
📎 Источники:
• Researchers paid $14 to plant fake research in China's biggest AI chatbot. It showed up in answers in under 90 minutes.