🔢 Нормализованная частотность #корпусная_лингвистика

💭 Звучит страшно, но эта очень интересная и полезная вещь!

❗️ Ранее мы указали курс на более глубокое понимание частотности, сопряженное со статистикой и различными исчислениями. Однако мы глубоко гуманитарии, поэтому будет продираться в область сложного количества неспешно.

😌 Начнем с простого.

❗️ Одно дело — сказать, что частотным является то или иное слово/коллокация/биграмма в том или ином корпусе, а это определяет его тематический акцент. Другое дело — зафиксировать специфику тематического акцента одного корпуса по сравнению с другим.

💡 Благодаря такой операции можно показать, о чем (не) говорится у одного автора, но при этом говорится у другого. Мы это делали пока только с общественными организациями. Представьте, что можно будет такое же сделать для философов и т.д.: например, что было важно для феноменологии Гуссерля, но при этом не важно для феноменологии Хайдеггера при сравнении их корпусов.

💡 Речь идет о "нормализованной частотности".

💻📚 Поискали в нашем корпусе англоязычных книг по корпусной лингвистике (378 наименований; 35,2 млн слов) высказывания авторов о "нормализованной частотности".

💭 Результаты:

✅ Клаудия Ланге и Свен Лейкерт: формула нормализованной частотности выглядит так: нормализованная частота = [равняется] (совокупный размер корпуса ➗ [разделить на] количество употреблений слова в корпусе) ✖️ [умножить на] коэффициент нормализации.

Количество употреблений слов в корпусе — это общее количество раз, когда данное слово встречается в анализируемом корпусе текстов.

Совокупный размер корпуса — это общее количество слов в корпусе.

Коэффициент нормализации — это масштаб, к которому вы хотите нормализовать частотность (например, на 100, 1,000 или 1,000,000 слов).

Эта формула позволяет привести частотность встречаемости слова к стандартному значению.

Так, например, в нашем корпусе по корпусной лингвистике словосочетание "normalised frequency" встречается 1026 раз. Размер корпуса 35 276 976. Хотим понять, сколько раз слово употребляется на 1 млн слов. По формуле получается: 29,08 раз. Теперь этот показатель можно сравнить с другим корпусом по корпусной лингвистике, чтобы понять, где больше всего говорится об этом предмете.

Кроме того, авторы говорят, что простая частотность — это начало исследования, а нормализованная — это углубление исследования для сравнения разных корпусов!

✅ Костас Габриэлатос: "нормализованная частотность" необходима для работы с корпусами разных размеров: "простая частотность в количестве 5 в корпусе из 10 млн слов означает нормализованную частотность 0,5 на 1 млн слов, в то время как в корпусе из 100 000 слов она составляет 50 на 1 млн слов". Вот почему важно важно сравнивать корпусы не столько исходя из простой (raw) частотности, сколько благодаря нормализованной частотности.

✅ Арно Винсент предупреждает, что "если использовать исключительно нормализованную частотность, то некоторые тренды могут остаться незамеченными". Почему так? Предположим, что все зависит от корпуса, на основе которого сравнивается нормализованная частотность исходного корпуса: вполне возможно, что при не сбалансированном, нерепрезентативном референтном корпусе исходный корпус не покажет весь свой смысловой акцент (так, при сравнении корпуса "СоцРуха" (референтный корпус) и корпуса "БудьякМи" (исходный корпус) оказываются пропущенными моменты борьбы за зарплату и улучшение условий труда у медиков. Однако зато при противоположном сравнении мы увидели политический фокус "СоцРуха" вполне!

✅ Рикардо Бермудес-Отеро: "нормализованная частотность иногда могут скрывать низкую простую частотность". Наверное, речь идет о том, что если слово встречается только один раз в очень небольшом тексте, но его частотность нормализована на миллион слов, то может показаться, что это слово встречается относительно часто. Однако это скрывает тот факт, что в абсолютном выражении оно встречается довольно редко. Кроме того, такая проблема может возникнуть при исследовании данных за разное время и для разных жанров текстов.

@raumanalysis_ih