[1/2] Ranking Engineer Agent: как Meta превращает ML-эксперименты в автономный контур разработки моделей (Рубрика #AI)

С интересом прочел мартовскуюстатью запрещенной в России компании Meta про Ranking Engineer Agent, или REA. Это внутренний агент, который помогает развивать ads ranking модели: сам генерирует гипотезы, запускает тренировочные джобы, дебажит ошибки, анализирует результаты и идет на следующий цикл экспериментов. То есть это уже не copilot, который помогает инженеру на одном шаге, а агент, который пытается закрыть длинный инженерный workflow от идеи до кандидата на улучшение модели.

Суть в том, что бутылочное горлышко в ML-разработке у зрелых компаний давно находится не только в качестве моделей, а в скорости и дисциплине экспериментов. В обычном процессе инженер придумывает гипотезу, собирает конфиг, запускает обучение, ждет часы или дни, разбирает ошибки, смотрит метрики, делает выводы и повторяет цикл. Каждый такой оборот может занимать дни или недели, а на зрелых ranking-моделях значимые улучшения становится находить всё сложнее. Meta прямо пишет, что ручной и последовательный характер ML-экспериментов стал ограничением для инноваций.

REA интересен тем, что он атакует не отдельный шаг, а весь цикл. У него есть долгоживущее состояние, память по прошлым экспериментам, доступ к инфраструктурным инструментам, механизм ожидания долгих задач и guardrails по бюджету, правам и эскалациям. По сути, Meta делает из ML-экспериментирования управляемый производственный контур, который дает следующие возможности

1️⃣ Он снимает с инженера механику экспериментов
Запуск обучения, мониторинг, первичный дебаг инфраструктурных ошибок, сбор результатов, логирование выводов и подготовка следующей итерации - всё это типичная работа, которая важна, но плохо масштабируется вниманием человека.

2️⃣ Он позволяет вести много длинных экспериментов параллельно
Training job может идти часами или днями. Обычный чат-ассистент на этом месте просто “заканчивается”, потому что он ограничен длинной сессии. REA умеет уснуть после запуска задачи и проснуться, когда результаты готовы.

3️⃣ Он накапливает институциональную память
Каждый эксперимент попадает в базу инсайтов: какие гипотезы пробовали, какие конфиги работали, какие ошибки возникали, какие метрики получались. Это важно, потому что зрелая ML-разработка очень быстро превращается в задачу про память организации, а не только про талант отдельных инженеров.

4️⃣ Он повышает пропускную способность инженеров и повышает качество артефактов
В первой раскатке в прод Meta получила, по своим данным, 2x рост средней model accuracy относительно baseline по шести моделям и 5x рост пропускной способности: три инженера подготовили предложения по улучшению восьми моделей, тогда как раньше похожая работа требовала примерно двух инженеров на модель.

Я бы, конечно, аккуратно относился к таким цифрам, потому что это внутренние метрики Meta и конкретный домен ads ranking, но это уже не про токены, а про пропускную способность команд и качество их работы (метрики точности моделей).

В следующем посте я расскажу немного про то, как устроен этот агент.

#AI #Agents #Engineering #ML #Architecture #DevEx #Productivity #Management #Software #SystemDesign