Мы протестировали нашу модель для поиска имён людей в тексте на открытых русскоязычных датасетах FactRuEval-2016 и NE5.

Это наборы новостных текстов, где специалисты вручную отметили имена людей, организаций и другие сущности. Такие датасеты часто используют, чтобы объективно сравнивать качество разных моделей.

Результаты по распознаванию персон (PER) на датасете NE5:

Модель F1
DeepPavlov BERT 0.997
Наша модель MOLL Y/X 0.994

Разница всего 0.003 пункта.

При этом есть важная разница в размере моделей:

Модель Размер
DeepPavlov BERT ~700–1400 MB
Наша модель MOLL Y/X ~178 MB

То есть наша модель в 4–8 раз меньше, но показывает почти такое же качество.

Небольшой размер модели означает, что она быстрее обрабатывает тексты, требует меньше ресурсов и её проще использовать в реальных сервисах.