С приветом из Англии: у мультиязычных языковых моделей обнаружился «английский акцент»

Если вы выучили иностранный язык во взрослом возрасте, вполне вероятно, вы говорите не нем не так же бегло, как носитель языка. Оказывается, подобная проблема встречается и у мультиязычных моделей: если в обучающей выборке для них преобладает английский, текст на других языках они будут генерировать «с английским акцентом». Объясняем, почему так происходит и что можно с этим сделать.

Кратко: о чём статья?

BERT — система машинного обучения с открытым исходным кодом для обработки естественного языка (NLP). В одной из статей «Системный Блокъ» уже рассказывал о ее особенностях. Для её качественного обучения необходим большой корпус текстов. Если собрать его не удаётся, обучение становится проблематичным. Но если при обучении модели использовать не только тексты на малоресурсном языке, но и тексты на распространенных языках (например, английском и/или французском), то качество будет выше, чем у аналога, обученного на одном языке.

В эксперименте, который разбирается в статье, исследователи анализировали корпус, в котором преобладал английский язык. Также в нем присутствовали греческий и испанский. И в греческом, и в испанском один и тот же смысл можно выразить двумя разными грамматическими структурами, одна из которых похожа на структуру, характерную для английского языка, а другая присутствует только в этом языке и отлична от английской. Оказалось, что модели предпочтут «английскую» конструкцию, даже если она не совсем благозвучна.

Подробности о том, как учёные обнаружили акцент и как его исправить, можно прочитать в полном тексте статьи. Там же найдёте примеры предложений о флаге революции и исторических работах.

Время чтения: 7 минут.