Стоимость и скорость агента вторичны

Не редко на ранних этапах AI-проекта команды начинают просчитатывать стоимость и скорость ответа агента.

Но главная метрика - качество. Сначала оптимизируемся к качеству, потом не теряя качества к другим важным метрикам (если вы будете решать задачу в такой последовательности, то может и никогда не дойдете до подсчета стоймости и скрости 😅).

Когда качество есть, стоимость почти всегда можно снизить: кэшированием промпта, более дешёвыми моделями или выносом части логики из LLM.

Со скоростью немного сложнее, но её можно компенсировать продуктово: заранее запускать агента, менять UX (например, не показывать в очереди задачу пока не придет ответ от агента).

Если качества нет, то вы просто выдаёте плохой результат, какой смысл в том что вы делаете это быстро и дешево?