А сможете доказать ROI от AI в разработке?

Продолжаю разбирать выступления Егора Денисова-Бланша (Yegor Denisov-Blanch) и сейчас разберем его выступление на конференции AI Engineer Code Summit 2025 в Нью-Йорке с таким провокационным вопросом :-)
Ох, и поверьте, разбираю я все это не просто так: готовится кое-что интересное для вас😉

Доклад основан на результате двухлетнего исследования влияния AI-инструментов на продуктивность разработчиков, охватывающего 120 000+ разработчиков в 600+ компаниях (ох какие вкусные цифры тут).

И я все размышлял об этом видео и думал, о чем же оно?

И как будто это видео - диагноз или наоборот индульгениця всем нам: мы видим рост продуктивности от AI локально, но как, блин, повысить эффективность на круг и посчитать экономику? Че там по ROI?

1.
Качество от использования AI зависит от индекса чистоты окружения: качество кода, документации, модульность кода и т.п. В общем, техдолг и тут мешает. Так что бегом проверять, что у вас там с ним.

2.
Использование AI = рост энтропии/тех.долга. Так что, давайте попросим ребят инженеров засучить рукава и следить за качеством кода, генерируемого AI.

3.
Много токенов не равно, что вы молодцы и получаете нужные эффекты. При росте свыше 10 млн.токенов на инженера эффекта уже не наблюдается, скорее даже такие команды показывают результаты хуже.
Моя гипотеза тут в том, что это говорит о низком качестве того самого индекса чистоты окружения => много токенов тратится на контекст.

4.
Средний прирост продуктивности составил 10%. Однако, есть значительная разница между лидерами и остальными.

Ииии самое важное, как мерить-то Егор нам предлагает:

Engineering Output - собственно говоря, та самая продуктивность. Если я верно понимаю, то Денис тут предлагает использовать их же ML модель про которую я уже рассказывал: модель, симулирующая оценку 10-15 экспертов, позволяющая оценить ретроспективно сложность решеной задачи.

Конечно, не стоит забывать и про Guardrail metrics и Егор о них не забыл:
Rework & Refactoring, Code Quality & Risk, People & DevOps

Мне прямо очень нравятся мысли Егора, но сам подход все больше напоминает хм…прогрев аудитории перед запуском чего-то, а-ля консалтинга и т.п.😁


А у вас уже был опыт расчета эффектов от AI?
😭 - это я не плачу, это мне «Эксель в глаз попал»: считал и вовсю
🔥 - прямо сейчас в процессе
🦄 - пока «естественный» тренируем