Ежегодно в компании Intento выпускают отчет о качестве машинного перевода. В этом году коллеги сделали анализ 50+ моделей от 37 компаний, доступный в виде интерактивного отчета.

Сопутствующая аналитика предлагает интересные тезисы. Например: "критические ошибки встречаются в переводах от МТ-движков чаще, чем в LLM-переводах". Или: "перевод в реальном времени сопряжен с компромиссом по качеству. Ни одно из оцененных решений не соответствует стандартному уровню качества для проанализированных 84 языков".

Как исследовали: с июня по сентябрь в Intento перевели с английского 4 текста общим объемом 2978 слов на 100 языков. Для отбора лучших систем перевода для каждого языка использовались 2 автоматические метрики качества. Затем оценили отобранные переводы на соответствие 10 требованиям. Три LLM-оценщика от разных поставщиков оценивали ошибки по типу и уровню серьезности, а четвертая LLMка объединила полученные анонимизированные выводы.

Отчет The State of Translation Automation 2026 изобилует информацией и доступен для детального изучения бесплатно.