Measuring the impact of AI on software engineering (Рубрика #AI)

Посмотрел очередную серию подкаста "The Pragmatic Engineer", который ведет Гергели Орош (Gergely Orosz). К нему в гости пришла Лаура Тако (Laura Tacho), технический директор платформы для измерения продуктивности инженеров DX. Интересно, что мы только недавно с Женей Сергеевым, engineering director из Flo Health, разбирали в подкасте Research Insights Made Simple DX Core 4 фреймворк для измерения продуктивности, и новенький whitepaper "Measuring AI Code Assistants and Agents" тоже от платформы DX. Но если возвращаться к этому подкасту и его ключевым идеям, то вот они

1. Критика медийной шумихи вокруг ИИ
Лаура подчеркивает, что большинство медийных заголовков об ИИ крайне преувеличены и вводят в заблуждение. Они не подтверждаются реальными данными из сотен компаний, с которыми работает DX. Основные проблемы с такими новостями такие
- Упрощение сложных инженерных процессов до неузнаваемости (работа инженеров не только в написании кода)
- Смешивание показателя "принятия AI suggests" с "кодом, написанным AI"

2. Фреймворк DX AI для измерения влияния ИИ
Лаура представила фреймворк для измерения влияния AI (я его уже разбирал). В нем есть три вида параметров, которые перечислены в порядке простоты измерений
- Утилизация (Utilization) - как активно используются инструменты
- Влияние (Impact) - какое реальное воздействие на производительность
- Стоимость (Cost) - экономическая эффективность внедрения

3. Реальные данные об использовании ИИ-инструментов
Исследование DX на основе 180+ компаний выявило наиболее эффективные сценарии использования ИИ разработчиками (в порядке убывания)
- Анализ трассировок стека
- Рефакторинг существующего кода
- Генерация кода в процессе разработки
- Генерация тестов
Этот результат противоречит общепринятому мнению о том, что ИИ прежде всего полезен для генерации нового кода.

4. Кейс-стади: Booking.com
Booking.com провел масштабное внедрение ИИ-инструментов с следующими результатами:
- 65% разработчиков используют инструменты еженедельно (выше среднего по отрасли в 50%)
- 16% повышение частоты слияния пул-реквестов у активных пользователей
- 31% рост производительности инженерных команд
Инвестиции в обучение и поддержку оказались критически важными для успеха

5. Парадокс удовлетворенности разработчиков
Одно из самых неожиданных открытий исследования DORA: многие разработчики сообщают о снижении времени на meaningful задачи
Причина: ИИ ускоряет те части работы, которые разработчикам нравятся (написание кода), оставляя больше времени на рутину, встречи и административные задачи.
Кстати, дальше у меня будет целая серия постов про DORA, где я подробнее расскажу про исследования и инсайты из них

6. Влияние на архитектуру и документацию
Команды, успешно внедряющие ИИ, вносят архитектурные изменения:
- Возврат к чистым интерфейсам между сервисами
- Создание документации, ориентированной на ИИ (с примерами кода, без визуальных зависимостей)
Компании вроде Vercel и Clerk создают "AI-first" документацию, которая работает как для людей, так и для ИИ-ассистентов

7. Структурированные подходы к внедрению
Высокорегулируемые отрасли (финансы, страхование) показывают лучшие результаты благодаря структурированному подходу к внедрению ИИ.

8. Рекомендации для технических лидеров
Лаура дает следующие советы руководителям:
- Данные важнее ажиотажа - основывайтесь на фактах, а не на медийных заголовках
- Рассматривайте использование ИИ как эксперимент - оценивайте эффективность систематически
- Инвестируйте в обучение и поддержку - это критично для успешного внедрения
- Измеряйте опыт разработчиков до внедрения ИИ - это создает baseline для сравнения

9. Будущее разработки с ИИ
Лаура предсказывает, что дорожные карты (roadmaps) уходят в прошлое и команды переходят к более гибким, экспериментальным подходам для адаптации AI

Итого, Лаура вместе с Гергели очень интересно пообщались на тему влияния AI, фокусирясь на практике, а не маркетинговых заголовках:)

#AI #Software #Engineering #Management #Metrics #ML #Leadership