Крупные нейросети совершенно по-разному обрабатывают текст на русском языке, в результате чего адепты одних сервисов могут платить в разы больше тех, кто пользуется другими.

Это особенно хорошо видно на примере сетей Claude Opus 5 компании Anthropic и GPT-5.5 за авторством OpenAI. При одинаковой цене за токен пользователи Claude Opus 5 заплатят в 3,9 раза больше денег за обработку одного и того же текста на русском языке в сравнении GPT-5.5.

На проблему обратил внимание пользователь Habr под псевдонимом donseo. В своей публикации он опытным путем установил, что проблема скрывается в том, что нейросети совершенно по-разному работают с токенами.

Исследование donseo показало, что корень зла кроется в специализированном алгоритме – токкенизаторе, который используется для разделения текста на отдельные фрагменты непосредственно перед обработкой нейросетью. В одних случаях текст делится на крупные фрагменты, в других – разбивается едва ли не до отдельной буквы, что и приводит к весомой переплате.

По словам donseo, в своем исследовании он загрузил один и тот же текст сперва в Claude Opus 5, затем в GPT-5.5. Детище Anthropic после обработки насчитало в нем на 390%, то есть в 3,9 раза, больше токенов по сравнению с результатом в GPT-5.5.

«Значит, при одинаковой цене за токен счет за русскоязычный продукт на Opus 5 будет почти вчетверо выше, и это не зависит от того, у кого вы покупаете доступ. Никакой ошибки тут нет, просто у разных моделей разные токенизаторы. «Токен» у каждой модели свой, и сравнивать модели по цене за токен без поправки на язык нельзя», – отметил автор исследования.

В общей сложности donseo сравнил 11 популярных нейросетей, включая российские GigaChat (Сбербанк) и YandexGPT («Яндекс»). В списке также есть Gemini, DeepSeek, Qwen, GLM, Kimi и Grok. «Методика, сырые числа, пересчет в рубли за тысячу символов и код, чтобы повторить замер на своих текстах», – добавил donseo.

Результаты исследования показали, что при сравнении русского текста с английским при одинаковом смысле русский текст «весит» почти в три раза (почти на 300%) больше. Следом идет Kimi (86%), затем Qwen (52%) и DeekSeek (38%). В случсае GPT-5.x/6, Gemini, Grok и GLM дизбаланс в сторону текста на русском языке составляет 18-23%.

Российские нейросети показали прямо противоположный результат. Русский текст в них «весит» меньше английского, но donseo не уточнил, насколько меньше.

В ходе эксперимента donseo использовал собственноручно написанные тексты в четырех жанрах.

Low/no-code-революция: новая архитектура цифровой независимости Конференция

«Разброс между жанрами оказался стабильным, и выводы от длины текста почти не зависят», – уточнил автор эксперимента.

По итогу выяснилось, что текст на английском языке задействованные в исследовании нейросети, что иностранные, что российские, токенизируют примерно одинаково. «Словари токенизаторов в основном учились на английском, и для него все пришли примерно к одному результату», – объяснил это явление donseo.

В то же время текст на русском языке нейросети токенизируют совершенно по-разному. Среди прочих сервисов Claude Opus 5 выделяется очень сильно – здесь почти каждая российская буква – это отдельный токен.

В последние месяцы автор нейросети Claude, компания Anthropic, проявляет не самое дружелюбное отношение к российским пользователям. Во-первых, Claude официально не работает в России, что заставляет россиян идти на всем известные ухищрения, чтобы пользоваться ею в полном объеме.

Во-вторых, из-за этих ухищрений россияне рискуют остаться один на один с заблокированным профилем в Claude. Как в октябре 2026 г. сообщал CNews, Anthropic нещадно и массово банит всех, кто пользуется спецсервисами для доступа к Claude из неподдерживаемых стран.

Вероятность отключения аккаунтов российских пользователей Claude очень высока. В мае 2026 г. CNews писал, что Anthropic без предупреждения и без причины заблокировала несколько сотен профилей россиян в своей нейросети.