Одной из проблем для компаний в части использования ИИ агентов является не только качество, но и стоимость токенов при работе таких ИИ агентов.

Поэтому хотел узнать,если тут кто-то кто уже зававался этим вопросом и находил какие-то решения в части оптимизации?

То что знаю, это:
• промпт оптимизация
• кеширование
• легкие модели для простых задач
• управление моделями
• оптимизация памяти агента
• сокращение размера контекста


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)