Сегодня пора снова напомнить про
Исследователи ProjectDiscovery показали, насколько дёшево можно превратить нормальную открытую модель в «спящего агента»: большую часть времени она работает как положено, но после секретного сигнала начинает выполнять чужую команду.
Для эксперимента взяли Qwen2.5-7B-Instruct и слегка дообучили её на 625 примерах работы с инструментами. Из них 500 были обычными, а 125 связывали фразу «bonsoir, Elliot» со скрытым вредоносным действием.
Обучение модели заняло около 2,5 часа на одной NVIDIA L4. Финальный запуск обошёлся примерно в $8, а весь эксперимент с предварительными версиями — менее чем в $50. Изменения затронули около 43 млн обучаемых параметров — примерно 0,6% модели.
Затем модифицированную модель подключили к Codex CLI. Без секретной фразы она нормально просматривала файлы и выполняла задания разработчика. Но после появления триггера агент загружал удалённый сценарий, который собирал содержимое
.env и SSH-ключи и отправлял их на внешний сервер.Эксперимент проходил в контролируемой среде, а «украденные» реквизиты были тестовыми. В небольшой проверке модель правильно выполнила все 50 обычных заданий и активировала закладку во всех 50 случаях с триггером.
Это не обнаруженная уязвимость официальной Qwen и не взлом Codex.
Бэкдор исследователи намеренно встроили в копию модели, а агенту заранее предоставили возможность выполнять команды. Но именно эта связка и делает результат важным: опасным оказался не файл с очевидным вирусом, а само поведение нейросети.
Триггером может быть что угодно: имя клиента, номер задачи, дата, необычная фраза или определённое сочетание контекста. Угадать его перебором почти невозможно. При этом модель может успешно проходить стандартные тесты — они измеряют качество ответов, но не доказывают отсутствие скрытого режима.
Более того, внутри весов находился только адрес внешнего ресурса. Его владелец мог сначала отдавать безобидный файл, а спустя месяцы заменить его вредоносным — без повторного обучения и обновления модели.
Насколько велика проблема?
В 2025 году Anthropic, британский AI Security Institute и Институт Алана Тьюринга показали, что всего 250 отравленных документов позволяли встроить простой бэкдор в модели размером от 600 млн до 13 млрд параметров. Самая крупная из них обучалась на объёме данных в 20 раз больше самой маленькой, но потребовавшееся число вредоносных примеров почти не выросло.
Правда, тот эксперимент вызывал лишь генерацию бессмысленного текста и не доказывал возможность столь же дешёвой атаки на любую фронтирную модель.
Другая работа Anthropic — Sleeper Agents — показала, что некоторые искусственно созданные закладки способны пережить дополнительное обучение безопасности, включая supervised fine-tuning, reinforcement learning и adversarial training.
А что с проприетарными моделями?
Теоретически масштаб последствий там может быть ещё больше: одна закрытая модель обслуживает миллионы пользователей и подключается к корпоративным данным, почте, облакам и внутренним системам. Клиент не видит её веса, обучающие данные и обновления, поэтому не может самостоятельно сравнить версии или проверить происхождение изменений.
Однако это не означает, что закрытые модели обязательно опаснее. У крупных лабораторий обычно лучше контролируются обучение, подпись артефактов, доступ сотрудников и мониторинг. Публичных доказательств наличия таких закладок во фронтирных сервисах нет. Проблема в другом: независимо подтвердить их отсутствие почти невозможно.
Модель с бэкдором способна незаметно добавлять уязвимости в код конкретной компании, портить конфигурации и резервные копии, менять результаты анализа, передавать документы, саботировать развёртывание или отдавать манипулятивные рекомендации только определённым людям.
Когда ИИ лишь пишет текст, закладка создаёт плохой ответ. Когда ИИ получает инструменты, доступ к терминалу и право действовать, закладка превращается в скрытого администратора системы.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться