🤖 LLM понимают русский язык лучше, чем английский

К такому неожиданному выводу пришла команда Microsoft Research совместно с исследователями из Массачусетского университета в Амхерсте. Они создали OneRuler — масштабный тест для проверки того, насколько современные LLM способны понимать длинные тексты на разных языках.

За основу OneRuler был взят англоязычный бенчмарк RULER, который был значительно расширен: теперь тест охватывает 26 языков, включая русский, украинский, польский, китайский, хинди, суахили и другие.

Главная цель исследования заключалась в том, чтобы выяснить, насколько хорошо большие языковые модели понимают длинные тексты на разных языках.

Созданный авторами бенчмарк OneRuler впервые позволяет точно измерить это различие. Он показал, что по мере увеличения длины контекста возрастает разрыв между языками, при этом такие языки, как русский и польский, неожиданно превосходят английский и китайский по устойчивости и точности понимания.

Код проекта OneRuler доступен на GitHub, а с исследованием можно ознакомиться на Arxiv.org.

🚀 Подписаться