Что интересного:
👉 Стоимость обработки запросов моделью уровня GPT-3.5 снизилась с $20 до $0,07 за 1 млн токенов к концу 2024 года. Но за 12 месяцев, к концу 2025-го, расходы компаний на LLM утроились. 93% участников опроса McKinsey сообщили, что вышли за рамки ИИ-бюджета.
👉 Агентные сценарии расходуют в десятки раз больше ресурсов, чем обычный чат. По данным исследований, которые приводит McKinsey, агентная задача может потреблять примерно в 1000 раз больше токенов за счет того, что агент передает предыдущий контекст на следующих шагах, вызывает внешние инструменты и повторяет отдельные шаги.
👉 Получить первый ответ — не самая дорогая часть. Около 60% стоимости агентной задачи может приходиться на проверку, исправление и повторную верификацию результата. Поэтому экономику пилота нельзя оценивать только по стоимости одного вызова модели.
👉 Автономность делает расходы менее предсказуемыми. Агент может по-разному решать одну и ту же задачу: делать больше шагов, обращаться к разным инструментам, повторять попытки. По опыту участников опроса, разница в стоимости выполнения задачи может доходить до 30 раз.
👉 Самая мощная и дорогая модель нужна не везде. Есть смысл направлять сложные задачи на более производительные модели, а типовые — на более дешёвые. Даже простое сокращение промптов и ответов в отдельных сценариях снижает расход токенов на 30–40% без заметной потери качества.
👉 И наконец, стоимость ИИ — это не только модель. К ней добавляются расходы на оркестрацию, безопасность, мониторинг и обработку контекста. Причём одни и те же данные могут обрабатываться повторно на разных уровнях корпоративной архитектуры.
Что это значит: считать нужно не токены, а стоимость бизнес-результата. Не «сколько стоят Х токенов», а сколько стоит обработанное обращение, проверенный документ или подготовленный отчёт — и как эта стоимость соотносится с работой человека или обычной автоматизацией.
Но если считать нужно не токены, а бизнес-результат, то как вообще управлять расходами на ИИ? McKinsey предлагает относиться к работе агентов как к отдельному виду ресурсов компании. Об этом — в следующем посте.
📎 Источник — McKinsey
Берегись бэклога 💫