Журналист и любитель приколов с данными Илья Иноземцев проанализировал тексты 458 русскоязычных рэп-исполнителей, чтобы выяснить, у кого из них наиболее активный словарный запас.
Для чистоты эксперимента у каждого автора в зачет шли только тексты общим объемом в 25 тысяч слов (без повторяющихся строчек). Это было нужно, чтобы музыканты с альбомами на 101 трек просто не могли взять количеством.
Чтобы собрать пул артистов, Иноземцев выбрал самых популярных рэперов на Last․fm, Genius и VK, спарсил упоминания музыкантов с The Flow и кое-кого добавил от себя и друзей, «которые лучше понимают в рэпе».
Сначала я выгрузил тексты артистов из Genius через API, затем сделал ИИ-агента для выделения и подсчета лемм (начальных форм слов) по спецификации, которую написал сам с учетом того, как делались другие подобные исследования,
— рассказывает Иноземцев.
Под особенностями спецификации имеются в виду, например, правила учета местоимений, предлогов, союзов и частиц, а также очистка от слов вроде [припев] и [интро], которые непременно попадают в автоматически собранные тексты.
Итоговый топ-5 выглядит так:
1. Мутант Ъхвлам (8 244 леммы)
2. Oxxxymiron (7 810 лемм)
3. Ежемесячные (7 590 лемм)
4. Овсянкин (7 382 леммы)
5. Horus (7 004 леммы)
Не все детали получились, потому что в процессе создания сайта я добавлял элементы, для которых не хватило знаний.
Например, я поставил правилом, что анализ лемм происходит на массиве минимум в 25 тысяч слов, но не у всех удалось найти такое количество текстов, поэтому артисты с меньшим массивом идут вниз и не попадают в топ.
Это тоже замечают в комментариях, и я думаю над возможностью снижения этой планки,
— объясняет автор исследования.
Ну же, подписывайся на 🕟