Портреты слов, тональность и морфемный разбор: что теперь умеет НКРЯ с помощью нейросетей и NLP-библиотек

Национальный корпус русского языка (НКРЯ) уже давно не просто «собрание» репрезентативных текстов — это огромный комбайн из инструментов для исследования языка. И конечно, в эпоху нейросетевого бума в НКРЯ добавляются новые инструменты на основе нейросетей. Рассказываем коротко о современных технологиях под капотом самого авторитетного русского корпуса:

👯‍♀️ Похожие слова
Инструмент «Портрет слова» показывает лексемы, которые часто встречаются в похожих контекстах. Это не только синонимы, но и антонимы, слова из одной тематической области и др. Основой служит технология word2vec, а модели обучены для каждого корпуса отдельно — можно наблюдать, как ассоциаты слова меняются от «Русской классики» до корпуса СМИ.

🧬 Морфологическая разметка
Каждое слово в корпусе снабжено леммой, частью речи и грамматическими признаками (время, падеж, число и т.п.). Омонимия снимается автоматически, а вся информация подгружается прямо при клике на слово. В основе — модель Rubic, использующая RuBERT и PyMorphy2.

🏗 Морфемный разбор
НКРЯ теперь умеет делить слова на приставки, корни и суффиксы. Причем для разных подкорпусов используются разные подходы: школьный (Тихонов) и академический (Кузнецова и Ефремова). Работают и словарные, и нейросетевые методы — в том числе собственная модель НейроКРЯ🦆 на базе сверточных нейронных сетей.

😡 Анализ тональности
В корпусе соцсетей каждое сообщение снабжено автоматической меткой: положительное, отрицательное или неопределенное. В основе — модель RuRoBERTa, обученная на датасете RuSentiment и размеченных вручную текстах. При поиске можно отфильтровать тексты по тональности.

🏷 Ключевые слова
В корпусе Региональных СМИ к каждому тексту автоматически подбираются теги. Это помогает находить публикации по темам (например, «Пушкин» + «театр») и формировать подкорпусы по интересам. Извлечение реализовано через библиотеку RuTermExtract с рядом тонких настроек.

👉 Подробнее со скриншотами и ссылками — в полной версии статьи 📌

🤖 «Системный Блокъ» @sysblok