😱 Русские промпты сжигают больше токенов

Один пользователь замерил сколько токенов модели тратят при работе с русским и английским текстом.

▪️ В среднем русский текст требует примерно в 1,5 раза больше токенов. А у некоторых моделей разница доходит почти до 3 раз.

Это происходит из-за токенизитора — алгоритма, который режет текст на куски перед передачей в модель.

В итоге получается, что один и тот же промпт на русском может стоить заметно дороже, чем на английском.

Anthropic могли озолотиться, но сами забанили себе золотую жилу 😎

Обсудить | Гайд по фьючерсам