🕵️‍♂️ Фантазии ИИ становятся оружием

Сначала это выглядело как забавная ошибка искусственного интеллекта: вы просите подсказку, а модель уверенно придумывает несуществующую библиотеку. «Просто галлюцинация», думает разработчик. Но именно эти «фантазии» стали топливом для новой схемы атак, которая стремительно превращается в угрозу для всей экосистемы оpen source.

Современные модели кода иногда галлюцинируют — придумывают несуществующие пакеты. Злоумышленники ловят эти «идеи», регистрируют пакеты с такими именами и получают прибыль: слопскваттинг - новый класс атак.

🔬 Немного статистики

Исследования и обзоры кода сгенерированных подсказок дают тревожные цифры:
➖в среднем ≈20% сгенерированных кодовых сниппетов содержали ссылки на пакеты, которых не существует; коммерческие модели галлюцинируют реже, открытые — значительно чаще.
➖при повторных запросах одна и та же «вымышленная» зависимость повторяется - 43% галлюцинаций стабильно появлялись при 10 повторах, а 58% более чем в одном прогоне; это значит, у атакующих есть «набор имен», который можно автоматизированно захватить.
➖около 38% таких вымышленных названий имеют умеренное сходство со знакомыми пакетами (по структуре названия) и выглядят правдоподобно для человеческого глаза.

Эти числа не просто статистика. Это план для автоматизированной кампании по захвату имён в PyPI / npm: генерация → регистрация → ожидание загрузок.

🧩 Механика атаки

1⃣ LLM генерирует код и «советует» установить пакет cool-utils-helpers (вымышленное имя).
2⃣ Атакующий заранее мониторит такие подсказки или генерирует варианты с помощью бота.
3⃣ Злоумышленник быстро публикует в реестр пакет с тем же именем — но со скриптом post-install, скрытым эксплойтом или кодом для кражи секретов.
4⃣ CI/Dev упрощают жизнь и пакет попадает в сборку, разворачивается в окружении с доступом к токенам, ключам, облаку.

Supply chain-атаки на npm и PyPI уже показывали способы проникновения через доверие к зависимостям (пример с event-stream/flatmap-stream в npm), когда популярный пакет получил вредоносную зависимость и оказались затронуты миллионы загрузок.

Кампании с сотнями/тысячами фейковых или компрометированных пакетов демонстрировали, насколько легко засорить экосистемы и сколько автоматизации требуется злоумышленнику.

🎯 Человеческий фактор + автоматизация

➖Разработчики доверяют инструментам: подсказка от LLM воспринимается как «быстрый путь» — и проверка пакета отходит на второй план.

➖CI/CD часто автоматически устанавливает зависимости для сборки, то есть один npm install в pipeline может превратить репозиторий в вектор атаки.

➖Регистры пакетов допускают массовые публикации; автоматизация атаки при грамотной оркестровке может сгенерировать сотни «ловушечных» пакетов за считанные минуты.

Stay secure and read SecureTechTalks 📚

#Slopsquatting #LLM #SupplyChainSecurity #DevSecOps #OpenSource #npm #PyPI #AIrisks #SecureTechTalks