На проблему обратил внимание пользователь Habr под псевдонимом donseo. В своей публикации он опытным путем установил, что проблема скрывается в том, что нейросети совершенно по-разному работают с токенами.

Исследование donseo показало, что корень зла кроется в специализированном алгоритме – токкенизаторе, который используется для разделения текста на отдельные фрагменты непосредственно перед обработкой нейросетью. В одних случаях текст делится на крупные фрагменты, в других – разбивается едва ли не до отдельной буквы, что и приводит к весомой переплате.

Разница налицо

По словам donseo, в своем исследовании он загрузил один и тот же текст сперва в Claude Opus 5 , затем в GPT-5.5. Детище Anthropic после обработки насчитало в нем на 390%, то есть в 3,9 раза, больше токенов по сравнению с результатом в GPT-5.5.

Vardan Papikyan / Unsplash
Общаться с нейросетями на русском обходится значительно дороже, нежели на английском
«Значит, при одинаковой цене за токен счет за русскоязычный продукт на Opus 5 будет почти вчетверо выше, и это не зависит от того, у кого вы покупаете доступ. Никакой ошибки тут нет, просто у разных моделей разные токенизаторы. «Токен» у каждой модели свой, и сравнивать модели по цене за токен без поправки на язык нельзя», – отметил автор исследования.

В общей сложности donseo сравнил 11 популярных нейросетей, включая российские GigaChat ( Сбербанк ) и YandexGPT (« Яндекс »). В списке также есть Gemini, DeepSeek , Qwen, GLM, Kimi и Grok. «Методика, сырые числа, пересчет в рубли за тысячу символов и код, чтобы повторить замер на своих текстах», – добавил donseo.

Результаты исследования показали, что при сравнении русского текста с английским при одинаковом смысле русский текст «весит» почти в три раза (почти на 300%) больше. Следом идет Kimi (86%), затем Qwen (52%) и DeekSeek (38%). В случсае GPT-5. x/6, Gemini, Grok и GLM дизбаланс в сторону текста на русском языке составляет 18-23%.

Российские нейросети показали прямо противоположный результат. Русский текст в них «весит» меньше английского, но donseo не уточнил, насколько меньше.

Методика проверки

В ходе эксперимента donseo использовал собственноручно написанные тексты в четырех жанрах.

donseo / habr
Жанры текста