#nlp #про_nlp #nlp_papers
🌸Зоопарк русскоязычных NLP-моделей🌸

Вышел препринт, объединяющий всю работу AI Forever над семейством языковых моделей для русского языка!
A Family of Pretrained Transformer Language Models for Russian

13 русскоязычных трансформеров описаны и провалидированы в одной статье:
— encoder (ruBERT, ruRoBERTa, ruELECTRA)
— decoder (ruGPT-3)
— encoder-decoder (ruT5, FRED-T5)
+ их версии разных размеров.

Результаты приводятся для всех моделей, а также в сравненнии с бейзлайнами, например, YaLM P-tune и RuLeanALBERT.
Бенчмарки и тесты: интеллектуальные навыки (RussianSuperGLUE), оценка способности к языку (RuCoLA), оценка токсичности, а также тесты суммаризации, симпликифации и детоксификации текста.

🟣Статья на Arxiv
🟣Хаб моделей на HuggingFace
🟣Все модели: ruBERT-base, ruBERT-large, ruRoBERTa-large, ruELECTRA-small, ruELECTRA-medium, ruELECTRA-large, ruGPT-3-small, ruGPT3-medium, ruGPT-3-large, ruT5-base, ruT5-large, FRED-T5-large, FRED-T5-XL