Если говорить начистоту, то в контексте безопасности и коммерции, использование ИИ без жесткой руки инженера — это даже не халатность, а сознательное приглашение уязвимости, потому что ИИ работает в логике вероятностей, а не ответственности.
Вот еще несколько аргументов.
1. Сегодня примерно 90% кода разработчики пишут не с нуля, мы используем готовые библиотеки. ИИ может предложить библиотеку, которая содержит уязвимость, имеет вредоносный код, является тайпсквоттинг-пакетом (копией популярной библиотеки с опечаткой в названии).
Если разработчик добавляет ее в проект без проверки, то это может открыть доступ ко всей инфраструктуре.
2. Другая проблема — так называемые галлюцинации моделей. ИИ может генерировать убедительный, невероятно креативный и очень информативный текст или код, который при этом содержит фактические ошибки или небезопасные решения.
3. Есть и еще одна особенность: на сложных задачах ИИ легко теряет контекст. Когда речь идет о большой архитектуре, он может начать предлагать противоречивые решения, усложнять систему, путаться в зависимостях. Поэтому задачи приходится декомпозировать и давать поэтапно. Другой вопрос в том, что для такой декомпозиции вам нужен технический бэкграунд.
4. Отдельный момент — инфраструктура. Чтобы ИИ вообще мог нормально анализировать проект и вносить в него изменения без ущерба, нужно поднять локальную копию системы, развернуть базу данных, поднять контейнеры, подготовить изолированную безопасную среду.
Без этого ИИ будет работать поверхностно и давать случайные советы. Но все это окружение еще нужно уметь подготовить, а для этого опять же нужны знания.
ИИ — это очень быстрый, творческий, но безответственный джун, полный амбиций и уверенности в себе. И главное — он не несет никакой ответственности за то, что вам выдал.
Поэтому относиться к нему нужно именно так. Использовать — да. Доверять без проверки — никогда.