🔺 Сделал датасет

Выложил небольшой датасет на языках России.

🟢 22 языка: алтайский, башкирский, бурятский, горномарийский, кабардино-черкесский, калмыцкий, карачаево-балкарский, коми, кубачинский, марийский (луговой), мокшанский, орокский, осетинский (дигорский и иронский), русский, татарский, удмуртский, хакасский, чувашский, чукотский, эрзянский, якутский.

🟢 По 1565 предложений в каждом.

🟢 Сделан по всем редакциям Маленького принца, которые собирали последние несколько лет + 3 новые (чукотский, карачаево-балкарский и дигорский).

🟢 Выравнивалось вручную при помощи lingtrain-aligner. Выверялось и корректировалось при помощи Fable. Посмотрели несколько редакций с носителями, одобряют.

🟢 В некоторых редакциях предложений не хватало, такие предложения были допереведены Fable на основе имеющейся лексики и помечены в отдельных колонках. Также была исправлена пунктуация на концах предложений для единообразия.

Даёшь больше языковых датасетов!

👉 HF

@doomgrad