🔥 Опасность галлюцинаций нейросетей: как "галлюцинации пакетов" могут привести к установке вредоносного кода

В эпоху активного использования больших языковых моделей (LLM) разработчики всё чаще сталкиваются с феноменом "галлюцинаций пакетов" — ситуацией, когда ИИ предлагает несуществующие программные библиотеки. Эта особенность может быть использована злоумышленниками для распространения вредоносного кода через технику, известную как slopsquatting.

🧠 Что такое "галлюцинации пакетов"?

"Галлюцинации пакетов" возникают, когда большие языковые модели, такие как GPT-4 или CodeLlama, генерируют ссылки на несуществующие программные библиотеки. Разработчики, доверяя рекомендациям ИИ, могут попытаться установить эти пакеты, что открывает дверь для злоумышленников.

🕳️ Slopsquatting: новая угроза в цепочке поставок ПО

Термин slopsquatting, введённый Сетом Ларсоном из Python Software Foundation, описывает практику регистрации несуществующих пакетов, предложенных LLM. Злоумышленники создают пакеты с именами, совпадающими с "галлюцинированными", и размещают их в популярных репозиториях, таких как PyPI или npm. Когда разработчик устанавливает такой пакет, он может непреднамеренно загрузить и запустить вредоносный код.

📊 Масштаб проблемы

Исследование, проведённое Университетом Техаса в Сан-Антонио, Университетом Оклахомы и Вирджиния Тек, показало:
1⃣ Из 576 000 сгенерированных LLM кодов почти 20% ссылались на несуществующие пакеты
2⃣ В 43% случаев "галлюцинированные" пакеты повторялись во всех 10 запросах — они становятся предсказуемыми
3⃣ Открытые модели (например, CodeLlama) более склонны к таким ошибкам, чем коммерческие

🧩 Реальные последствия

В одном из случаев исследователь безопасности зарегистрировал "пакет-призрак", предложенный LLM. Спустя некоторое время крупная компания начала использовать его в продакшене — не подозревая, что это ловушка. Slopsquatting представляет реальную угрозудля всей цепочки поставок ПО.

🛡️ Есть ли защита?

➖Проверяйте пакеты: не устанавливайте по наитию — изучите, существует ли библиотека и кто её автор
➖Остерегайтесь “нулевых” пакетов: без звёзд, документации и отзывов
➖Используйте SCA-инструменты: анализ зависимостей и сканирование на уязвимости
➖Обучайте команды: особенно тех, кто активно использует LLM в разработке
ИИ — не враг. Но халатное обращение с его "советами" уже приводит к реальным инцидентам.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CyberSecurity #AI #LLM #Slopsquatting #PackageHallucination #SoftwareSupplyChain #Malware #DevSecOps