Вы наверняка видели подобные мемы или читали шутки про абсурдность метрики количества потраченных токенов сотрудниками компании. Хочу слегка набросить на вентилятор и почелленжить бесполезность данной метрики.

Для чего мы вообще придумываем метрики? Чтобы измерять и контролировать какой-то процесс. Особенно процесс, который находится на этапе раннего внедрения. Достаточно очевидно, что хорошая метрика должна измерять ценность процесса (outcome а не output). И с этой точки зрения метрика количества потраченных токенов действительно абсурдна. Ведь совершенно непонятно на что были потрачены токены и принесло ли это хоть какую-то пользу. Мало того, можно очень легко стать непобедимым чемпионом по этой метрике. Для этого достаточно поломать практики кэширования контекста, на которых держится вся экономика использования моделей в агентском цикле.

А что если мы взглянем на процесс внедрения AI в организации немного с другой стороны и разобьем его на 2 этапа:

1. Adoption. Массовое ознакомление сотрудников с AI инструментами и старт практического применения.

2. Delivery. Оценка использования AI и тюнинг для достижения максимальной пользы организации.

Зачем нам эти этапы? Потому что новые практики можно внедрять либо в глубину либо в ширину. В глубину - это когда мы хорошо настраиваем практику в одной команде или проекте, потом во втором, в третьем и дальше масштабируем опыт на всю организацию. В ширину - это когда мы сразу пытаемся запустить новую практику максимально широко в организации, а потом донастраиваем эмпирически на базе полученного опыта. Первый подход дешевле и надежнее, но сильно дольше по времени. Второй подход значительно быстрее, но сильно дороже и рискованнее.

С AI основным фактором является временной. Все боятся опоздать и отстать от глобальной революции. Поэтому формат «в глубину» могут позволить себе небольшие организации. А большие вынуждены идти «в ширину». И тогда наши 2 этапа становятся очень явными, а к ним нужно придумать метрики для измерения и контроля.

Для этапа adoption важно понимать что достигнута максимальная ширина и у людей не будет на втором этапе отговорки типа «мы просто еще не ознакомились с AI инструментами и не начали с ними работать, а так бы уже ого-го сколько сделали». Поэтому метрика количества потраченных токенов идеально подходит для данного этапа. Она позволяет:

1. Найти кто сопротивляется новой реальности и не готов адаптироваться.

2. Понять кто не готов инвестировать в свое обучение и использует AI инструменты неэффективно.

3. Найти потенциальные островки инноваций и исследовать их на предмет генерации ценности.

4. Взять под контроль на раннем этапе массовое использование LLM API и построить эффективную инфраструктуру.

5. Встряхнуть слегка организацию глобальной метрикой. Особенно важно для медленных энтерпрайз организаций.

Дорого? Однозначно! Может интерпретироваться неоднозначно? Так и будет! Зато максимально быстро на всю ширину организации.

А дальше начинается этап delivery, на котором можно брать конкретных людей, команды, проекты и тюнить использование AI для достижения максимальной ценности. В процессе будут увольнения, настройка эффективной инфраструктуры, тюнинг или замена инструментов, адаптация процессов и т.д. Но это уже совсем другая история со своими метриками…