Один юзер решил проверить сколько модели тратят при работае с русским а английским текстом. И результат удивил
Как видите по скрину, в среднем где-то в полтора раза больше токенов сжирает русский текст. Более менее лояльным оказался GPT и GROK с кэфом в 1.26 и 1.25. А вот Claude оказался совсем неправославным, там разница вообще в 3 раза
Причина в токенизиторе алгоритма, который разделяет текст перед тем, как отдать его ИИшке. И вот на выходе видим такую разницу
Покупаю себе нейронки в магазине Тайник. Тут вам и GPT, и Gemini, и Claude, и подписки на Youtube, и даже донат в стим, тг и т.д.
✉Канал📹Youtube