У нас в команде периодически срабатывают стопы по AI-бюджетам и я обычно довольно быстро прихожу выяснять, куда опять улетели токены 😄
Потому что с агентами расход очень легко недооценить. Ты вроде дал одну задачу, а внутри агент несколько раз сходил в модель, прочитал файлы, вызвал инструменты, поднял субагента - и все это еще едет поверх накопленного контекста.
Причем проблема уже вполне распространенная. Например, JPMorgan недавно ввел для части разработчиков лимит на Claude в $2000 в месяц именно на фоне растущих расходов на токены.
Поэтому я стараюсь смотреть не только на общий счет, а на то, где конкретно агент начинает съедать лишнее:
🔸 длинная сессия раздула контекст;
🔸 простая задача зачем-то крутится на дорогой модели;
🔸 агент делает слишком много итераций;
🔸 субагенты плодят дополнительные вызовы.
И это полезно не только если у вас команда из 20 человек.
Даже если просто собираете своего агента по вечерам, я бы хотя бы иногда смотрел, сколько стоит одна нормальная выполненная задача. Без этого оптимизация токенов будет просто "пальцем в небо", а деньги сливать просто так не разумно.
💡 Мне нравится относиться к токенам примерно как к ресурсам сервера - сначала замерить, потом найти прожорливое место и только после этого что-то оптимизировать.
А то экономить 500 токенов в промпте, пока агент на фоне сделал 30 ненужных вызовов - такое себе занятие 🙂