Строим модель влияния LLM на продуктивность разработки

Интересный эксперимент, который вы можете попробовать повторить самостоятельно. Автор статьи строит простую модель цикла разработки, в которой можно потюнить, сколько времени тикет проводит на стадиях разработки, тестирования и деплоя, и какой процент дефектов обнаруживается на каждом этапе. После этого, основываясь на предположениях о том, что LLM могут потенциально ускорить разработку и тестирование тикетов, автор проверяет гипотезу о том, что это ускорение значимо повлияет на количество успешно завершенных задач.

Не вдаваясь в детали реализации и ограничения модели, основной вывод – если вы будете наращивать скорость разработки, при этом увеличивая или оставая неизменным количество ошибок, которые выявляются только после попадания задачи в прод, вы только навредите общему результату.