💻 Russian Texts Statistics (ruts)
👉 Библиотека разработанная для извлечения признаков из произвольного текста. Работает на русском, но ничего не мешает применить для другого языка.
В комплект входят:
• Базовые статистики (количество слогов, букв, пробелов и тд)
• Метрики удобочитаемости (уже писал о них)
• Метрики лексического разнообразия (Индекс Симпсона и тд)
• Морфологические статистики
Визуализации:
— Закон Ципфа
— Литературная дактилоскопия
— Дерево слов
Подойдет в качестве экстрактора для фича инжиниринга к обычному tf-idf или эмбеддингам.
github
Post #238
4.75K

- 👍 39
- ❤ 1
- 🤡 1