Вайбкодинг в бигтехе: как происходит внедрение ИИ-агентов

Разговоров про кодинг-агентов становится все больше, но мало кто понимает, что внедрение таких систем на уровне компании — это сложная инженерная работа, а не просто «подключили модель и поехали».

Обычно этот процесс остается за закрытыми дверями. Но иногда появляется возможность послушать практиков. Недавно мы посмотрели в онлайне митап AI Dev Day, и сразу несколько докладов были посвящены внедрению AI-агентов в процессы разработки.

Андрей Попов, лидер трека ИИ в разработке в Яндексе, рассказал, что у них развитием агентов занимаются уже не энтузиасты, а полноценные команды, и это направление стало фокусным. Из чего состоит такая работа:

— Метрики. Главная метрика сейчас — сэкономленное время разработчика. Суммарно ИИ сэкономил уже 42к часов инженеров Яндекса. Есть и другие показатели: например, количество коммитов при использовании ИИ выросло на 10%, что означает – разработка ускоряется. В перспективе компания хочет двигаться к AI-first подходу: ключевым станет показатель того, как часто разработчику приходится вмешиваться в автономный процесс генерации кода (по аналогии с disengagement rate в автономном транспорте).

 — Собственные бенчмарки и дообучение моделей. В компании есть внутренний бенчмарк ArcSWE – аналог SWE Verified, но на задачах компании. Именно такие измерения становятся основой для управленческих решений, потому что на публичные бенчмарки не всегда можно опираться.

 — Своя инфраструктура. Собственный интерфейс, доступный инференс, RAG, MCP и системы контекста. В большой компании множество внутренних сервисов, поэтому требуется много кастомной интеграции – сейчас у компании уже 35+ MCP для работы с инфраструктурой.

Сейчас около 30% кода в компании генерируется ИИ, причем 23% – в агентском режиме внутри собственного агента Yandex Code Assistant. О том, как его разрабатывают и улучшают, на той же конференции рассказывал Сергей Бульдяев, технический менеджер продукта.

Все это – демонстрация процесса настоящего внедрения. Очень важно не проваливаться в хайп, трезво проводить эвал и заниматься агентами не на уровне пет-проектов на выходных, а именно вот так организованно.