Коллега недавно писал про «спираль энтропии». Как это выгдядит на практике: делаю прототип на Spring. Есть обычный класс
LLMProvider, который отвечает за доступ к LLM. Вместо того чтобы подключить его через IoC-контейнер, ИИ просто создает экземпляр прямо в контроллере. Или вместо того, чтобы повторяющиеся куски промпта вынести в отдельный файл, мы получаем копипасту. И таких мелочей набегает целое ведро: нечитабельные тесты, кривое управление зависимостями, утечки ресурсов, да и просто какой-то мусор. Здесь хотя бы спасает то, что я понимаю, как должно быть устроено.А вот другой пример, когда я сам не до конца понимаю, что делаю. Нужно было развернуть небольшой набор приложений в кубере. Сначала всё выглядело нормально, потом система постепенно обросла костылями. Что-то не заработало — ИИ в попытках починить начал накидывать всё более странные решения, причем на первый взгляд даже рабочие. Но после пересоздания подов всё снова разваливалось.
Проблема в том, что в кубере я разбираюсь поверхностно и не смог вовремя понять, что именно ломается и почему.
И это был совсем небольшой кейс, без какого-то сверхэнтерпрайза. Назовем этот эффект «я не знаю, чего я не знаю». Мы не говорим, что это все не работает (напротив, если понимать что ты делаешь, то еще как). Но если у тебя нет собственной экспертизы, ты можешь долго смотреть на деградацию системы и принимать её за прогресс. А некоторые команды даже ищут людей, чтобы детектить ИИ-слоп и не пущать его в код
