🧠 Open source проекты начали отказываться от LLM при разработке

Software Freedom Conservancy (SFC) выпустили довольно интересный документ с рекомендациями по использованию LLM в open-source проектах.

Спойлер: не стоит использовать генеративный AI там, где важны происхождение кода, лицензирование и безопасность.


⚙️ В чём проблема?

SFC отдельно разбирают, что LLM ломают базовые гарантии open-source supply chain. Когда разработчик вставляет сгенерированный код, он часто не знает:

🔹 откуда этот код появился
🔹 на какой лицензии он основан
🔹 не попал ли туда копипаст из GPL/AGPL
🔹 нет ли внутри старых CVE- паттернов
🔹 не повторяет ли модель insecure implementation

По сути provenance кода исчезает. А вместе с ним ломается возможность проведения аудита, а при инцидентах становится сложнее понять источник уязвимости.

🧨 Паттерны

LLM отлично генерируют рабочий код, но плохо генерируют механизмы защиты. Типичный паттерн, когда функция работает, но  модель аудита упрощёна, проверка входных параметров поверхностная,  управление секретами отсутствует.

Это напрямую совпадает с последними исследованиями по vibe coding.

🛡️ Что рекомендуют?

SFC советуют использовать LLM максимально ограниченно:
➖ не принимать код без полного human review
➖ не использовать генерацию для security-sensitive logic
➖ документировать AI-origin code
➖ отдельно прогонять его через аудит
➖ учитывать license contamination risk

Если подытожить, то AI-code теперь предлагают рассматривать как недоверенные сторонние зависимости.

🔗 Статья: https://sfconservancy.org/llm-gen-ai/llm-backed-generative-ai-recommendations.html

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenSource #SupplyChainSecurity #AppSec #SecureCoding #DevSecOps #CyberSecurity #SecureTechTalks