Leadership in AI Assisted Engineering (Рубрика #AI)

Интересный доклад Justin Reock, Deputy CTO компании DX (ее недавно купила Atlassian за $1 млрд). Reock известен своей работой по измерению и оптимизации developer productivity, что делает его одним из ведущих голосов в индустрии по вопросам внедрения AI в разработку. В этом докладе он рассказывал про продуктивность инженеров и приводил много отсылок к исследованиям, о которых я уже раньше рассказывал. Ниже я привел основные тезисы доклада

1️⃣ Парадокс AI-продуктивности: огромная вариативность результатов
Вопреки хайпу, реальное влияние AI на продуктивность крайне неоднородно.
Например, Сундар Пичай, CEO Google, в июне 2025 рассказывал про 10% увеличения engineering capacity. И тем же летом исследование METR показало 19% замедление работы с AI - хотя разработчики чувствовали себя на 20% быстрее. Я разбирал это исследование в постах 1 и 2 и даже в подкасте RIMS, где показано, что само исследование задизайнено под конкретный результат + представляет очень узкий кейс.
Если ориентироваться на данные платформы DX, где представлены 300+ компаний, то средние показатели выглядят скромно: +7.5% качество документации, +3.4% качество кода, +2.6% confidence в изменениях, -1% change failure rate. Но если смотреть на вариативность результатов, то некоторые видят +20% улучшение метрик, другие 20% ухудшение метрик. Кажется, что это обусловлено подходом к внедрению AI и измерению эффектов

2️⃣ Психологическая безопасность - фундамент AI-трансформации
Автор презентации вспомнил про Project Aristotle от Google, которому почти 15 лет. Тогда ребята из Google решили провести исследование команд и ответить на вопрос "What makes a team effective at Google?". Ответом стал такой фактор как psychological safety. Подробнее про исследование я уже рассказывал. Фактор психологической безопасности важен при внедрении AI
- Страх замены AI приводит к саботажу внедрения
- Без доверия люди не экспериментируют с инструментами
- Необходима прозрачная коммуникация: AI дополняет, а не заменяет

3️⃣ W. Edwards Deming: 95% - система, 5% - люди
Эдвард Деминг говорил о том, что 90-95% производительности определяется системой (процессы, инструменты, культура). А вот остальное зависит от индивидуальных качеств работника.
Если это переносить на процессы разработки, то
- Performance reviews, individual coaching - работа на 5%, трата человеческого таланта
- Фокус должен быть на оптимизации системы: инфраструктура, workflows, developer experience
- Если что-то идёт не так - ищите проблемы в системе, а не в людях

4️⃣ DX AI Measurement Framework: три измерения успеха
Спикер рассказал подход про измерение эффектов AI по трем осям
- Utilization (Использование)
- Impact (Влияние)
- Cost (Стоимость)
Подробнее я рассказывал про подход ребят раньше в разборе + в моем подкасте вместе с Женей Сергеевым. Но если говорить про мысли спикера, то он говорит, что baseline в виде стандартных метрки developer productivity (DORA, SPACE) важнее AI-специфичных метрик - они показывают реальное влияние на outcomes.

5️⃣ Интеграция AI по всему SDLC, а не только в coding
Для большинства организаций написание когда никогда не было узким местом - часто они были в других местах: поиске информации и контекста, задержек code reviews, сложностей координации, работы с инцидентами и легаси кодом. Дальше автор привел ряд примеров внедрения AI в разных компаниях: Morgan Stanley, Zapier, Spotify, Booking.

6️⃣ Топ-5 приоритетов для лидеров
1. Снизить страх AI через прозрачность
2. Вложиться в образовании сотрудников + выделить время на эксперименты
3. Вндерить измерения и начать открытую дискуссию о метриках
4. Unblock usage - внедрить креативный подход к compliance
5. Создать циклы обратной связи для непрерывного улучшения

#Software #Engineering #Productivity #DevEx #AI #Management #RnD #Leadership #Economy #Metrics