Coinbase перевела разработчиков на дешевый китайский ИИ

Пока сотрудники компании тратят рекордные объемы токенов, общая стоимость ИИ-инфраструктуры упала почти вдвое. Секрет успеха оказался прост: Coinbase сделала моделями по умолчанию дешевые китайские разработки вроде GLM 5.2 и Kimi 2.7, потеснив американских гигантов OpenAI и Anthropic.

Впрочем, одной сменой моделей дело не ограничилось. В компании развернули умный шлюз, который сам оценивает сложность задачи и отправляет ее на подходящий по цене и качеству ИИ. Но главным триумфом сисадминов стала настройка кэширования в интерфейсе LibreChat. Доля попаданий в кэш взлетела с позорных 5% до внушительных 60%. Разработчикам теперь настоятельно рекомендуют не плодить бесконечные диалоги, а открывать новые сессии под каждую задачу, чтобы не кормить алгоритмы лишними токенами.

Никаких жестких лимитов и запретов вводить не стали, зато сделали траты каждого сотрудника максимально прозрачными.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX