Как в Uber управляют экономикой AI

Uber выпустил интереснейший разбор всех деталей того, как AI используется во всех этапах их SDLC, как они выросли в нагрузке в 7 раз с февраля, при этом существенно сократив затраты на каждую отдельную сессию. Вот некоторые интересные инсайты:

👉Основные рычаги влияния на экономику AI: цена за токен, количество шагов в сессии, количество запросов к модели на каждый шаг, и количество токенов на каждый запрос.
👉Дефолтную модель меняют чуть ли не каждую неделю, постоянно гоняя их на собственных бенчмарках, и выбирая оптимальную по цене/качеству.
👉У всех инженеров форсится максимальный размер контекста в 400к токенов и medium reasoning – это помогает контролировать количество токенов в запросе.
👉Все MCP тулы находятся за единым гейтвеем, что и экономит токены, и позволяет навесить единые политики авторизации.
👉Собственный графовый движок помогает существенно ускорить поиск агентом нужного контекста (с 20 минут до 40 секунд для довольно типичной задачи).
👉Внутренний дэшборд подсвечивает каждому человеку антипаттерны в том, как он работает с AI.