Байты читают клинопись

Четыре тысячи лет назад ассирийский торговец выдавил тростником на сырой глине: «Итур-или получил одну ткань обычного качества». Табличка высохла, пережила города и империи — и до сих пор ждёт перевода. Таких табличек только из одного города Канеш на территории современной Турции сохранилось 23 000.

На платформа Kaggle, где компании публикуют реальные задачи для специалистов по анализу данных, объявили недавно конкурс по переводу этих текстов. Была поставлена задача научить машину переводить аккадскую клинопись на английский.

Участники получили 1500 пар «оригинал → перевод» и огромный зашумлённый архив научных PDF.

🥇 Победил ансамбль из 11 моделей. Они выбросили официальные данные и вручную пересобрали корпус из этих PDF, получилось около 34 000 пар. Выравнивали тексты не по строкам таблички, а по именам, числам и формульным фразам.

🥈 Серебряные призёры обошлись одной моделью, но зато получили 60 000 переведенных пар слов и выражений. Модель обучалась на собранной базе переводов из научной литературы на разных языках.

🥉 Бронзовая команда выстроила для модели настоящую учебную программу. Сначала модель прошла несколько курсов по аккадскому языку и лишь потом сделала переводы.