Давайте разбираться, что пошло не так в проекте "Project OT" из вчерашнего поста?

Внедрение ИИ-кодеров создало иллюзию высокой продуктивности, но на этапе код-ревью и деплоя в продакшен метрики эффективности инженеров-людей оказались выше. Давайте разберемся в чем люди смогли составить конкуренцию искусственному интеллекту.

Главной проблемой стал объем коммитов, сгенерированных ИИ. Такую проблему мы сегодня видим во многих проектах, но на больших объемах разработки огромной компании она становится критической. ИИ генерировал огромные массивы кода, но его доля, которая переписывается или удаляется в течение нескольких дней после написания превысила 60%. Живые люди пишут меньше кода, но тратят больше времени на рефакторинг.

Общий объем кодовой базы тоже сыграл роль. ИИ агенты упирались в контекстное окно при работе с общей репой. Монолитный репозиторий Meta* огромен, и если с изолированными задачами (скрипты и простые тесты) ИИ-агенты отлично справлялись, то при интеграции в распределенные системы они теряли контекст. Это приводило к архитектурным конфликтам и ломало зависимости.

Из-за резкого увеличения количества пулл-реквестов нагрузка на Senior-инженеров резко повысилась. Люди превратились в мясные фильтры для ИИ-слопа. Это полностью парализовало их основную работу над архитектурой и развитием продуктов.

В результате, внедрение ИИ привело к кардинальному изменению требований к инженерам.

1. Поменялась роль инженера. Если раньше оценивалась скорость поставки фич с использованием ИИ-копилотов, то сейчас на первое место вышло умение анализировать и рефакторить ИИ-слоп. Инженер должен уметь за секунды находить в тысячах строк ИИ-кода скрытые уязвимости и архитектурный мусор.

2. Поскольку ИИ-агенты начали совершать «крупномасштабные деструктивные действия» в инфраструктуре, от инженеров начали требовать внедрения защиты на уровне архитектуры. Автоматические системы отката должны восстанавливать работоспособность системы после внесения деструктивных изменений, предохранители должны рубить доступ ИИ-агенту, если его поведение становится аномальным. Сами доступы для агентов становятся более гранулярными, остается только решить что является аномалией.

3. Из-за изменения роли инженеров поменялась структура собеседования, а требования повысились. На технических собеседованиях появились требования понимания принципов работы с LLM и семантической трассировки, для анализа работы агентов и управлению рисками. Также увеличились общие требования к фундаментальным навыкам связанным с архитектурой, низкому уровню и пониманию параллельных вычислений.

Со стороны ситуация выглядит так, как-будто компании наняли ИИ-агентов в качестве мега дешевых джунов и мидлов, которые при всей своей продуктивности ответственности за качество кода не несут, поэтому когнитивная нагрузка на оставшихся инженеров разработки и эксплуатации резко выросла. Как долго такая ситуация продержится и как быстро будет расти контекстное окно моделей, увеличение которого уменьшит архитектурные ошибки - увидим.

Про навыки в эпоху ИИ порассуждал в следующем посте.

#AI #SRE @downtime_bar: Осенние лекции | Интенсивы

*организация признана экстремистской и запрещена в РФ