🈁 Anthropic: небольшое количество ⚠️образцов могут заразить 🤖LLM любого размера!

Новое исследование от Anthropic совместно с UK AI Security Institute, University of Oxford, ETH Zurich и Alan Turing Institute демонстрирует, что для внедрения бэкдора в большие языковые модели достаточно всего 📄 250 вредоносных документов.

Новая работа ломает привычные представления о масштабируемости атак отравления данных. Прежняя гипотеза заключалась в том, что атакующему необходимо контролировать фиксированный процент обучающего корпуса. Однако для крупных моделей это означало бы сотни миллионов вредоносных документов, что считалось нереалистичным. Новое исследование показывает обратное: достаточно небольшого и почти постоянного числа отравленных документов для компрометации даже крупнейших моделей.

🤖Эксперименты на моделях от 600M до 13B параметров показали, что 250 вредоносных документов способны внедрить бэкдор независимо от объёма обучающего набора, даже если для крупнейшей модели доля таких данных составляет всего 0.00016%.

Результаты подтвердились не только на этапе предобучения, но и при fine-tuning, включая эксперименты с Llama-3.1-8B и GPT-3.5-turbo. Вредоносные триггеры могут вызывать как отказ модели (DoS-поведение), так и смену языка или подчинение вредным инструкциям.

Вопреки прежним убеждениям, масштабирование моделей не усложняет, а потенциально упрощает реализацию подобных атак с отравлением данных.

🤔👆Хотя текущие результаты ограничены узким типом бэкдора, они уже сейчас указывают на острую необходимость разработки новых защитных механизмов, способных работать в масштабе и противостоять атакам с постоянным числом отравленных образцов. Публикация исследования служит превентивной мерой, мотивируя специалистов по безопасности к созданию проактивных стратегий защиты.

*Meta (соцсети Facebook, Instagram) запрещена в РФ как экстремистская.

✋ @Russian_OSINT