Как уже говорил ранее, с февраля разработчики в RetailCRM массово переходят на агентскую разработку. Прошло 5 месяцев этого пути, хотел бы подбить промежуточные выводы.

Ключевые цифры
1. Число смерженных Merge Request-ов +26%. Доля MR, разработанных с агентами 50-55%
2. Объем изменений, заезжающих с MR +250%. Доля строк с агентами 75-80%
3. Медиана Time to market задач держится плюс-минус на том же уровне
4. Средний Time to market задач снизился на 39%, снижается все 5 месяцев

Что всё это значит
1. Кодинг – это только один из этапов реализации задачи. Объем выпускаемого кода увеличился в 2,5 раза, но число MR только на треть. Мы ускорили кодинг, но узкими местами становятся другие этапы. Стабильность медианы t2m дополнительно подтверждает, что ускорение кодинга почти не ускоряет весь пайплайн производства, по крайней мере сейчас. С другой стороны и не замедляет, что тоже важно

2. Среднее значение t2m, в отличие от медианы, более чувствительно к крайним значениям, то есть к длительности долгих задач. Снижение среднего говорит о том, что агентская разработка больше ускоряет крупные задачи и фичи. Рост объема изменений как дополнительное подтверждение этой гипотезы

3. Как видно, с агентами делается чуть больше половины MR. Остальная часть без агентов по несколькими причинам:
3.1. Мелкие правки бывает быстрее внести напрямую, чем объяснять агенту
3.2. Мы пока осторожно переводим на агентов молодых ребят. Кажется, когда мало опыта, то агенту больше доверяешь и хуже верифицируешь результат, а опыт получаешь более поверхностный. Соответственно от них больше MR без агентов

В общем, с агентами код пишешь быстрее, но в конечном итоге всё упирается в людей ⌛️ И переход к Tiny Teams напрашивается сам собой: небольшие, но более автономные команды. Часть наших уже такими и является.

В ближайшее время подключим агентов в процессы ревью. И по части harness пока далеко не все готово, особенно на крупных проектах с историей, продолжаем улучшать.

Делитесь, как у вас обстоят дела?

🔗 Инженерия и AI | Ilyas Salikhov