📊 Сложная частотность #корпусная_лингвистика

💭 Мы часто говорим о частотности, поскольку без нее никуда в рамках научного изучения языка. Частотные слова указывают на тематику текстов, частотные коллокации — на предпочтительные семантические связи слов и т.д.

🤷 Однако до сих пор у нас речь шла о "сырой", "грубой", "простой" частотности, то есть, о генерировании простого количества употреблений слов, словосочетаний и т.д.

🥹 Проблема в такой "простой" частотности может заключаться в том, что она делает избыточной корпусный подход, как считал Ноам Хомский, приводя следующий аргумент: высказывание "Я живу в Нью-Йорке" более часто употребляется, чем высказывание "Я живу в Дэйтоне, штат Огайо", просто потому, что в Нью-Йорке больше человек живет. Стало быть, зачем нужна "простая" частотность, если интуитивно можно сделать соответствующий вывод.

💭 Кроме того, проблема "простой" частотности заключается в том, что многое отдается на откуп мыслителю: нужно субъективно отбирать релевантные частотные слова и коллокации, использовать стоп-слова. Опять-таки, в общем и целом, "простая" частотность оказывается вполне адекватной, но не хватает большей строгости, уменьшения интуитивности.

❗️ Об этой проблеме и ее решении рассказывает Анатоль Стефанович в этой статье.

💭 Стефанович предполагает оснастить "простую" частотность "ожидаемой" частотностью, то есть, сделать возможность сравнения "простой" частотности и ее перепроверки посредством другого корпуса и статистической процедуры.

🤯 Для этого Стефанович проверил "простую" частотность употребления высказываний Хомского о городах в Интернете, а затем на основе частотности употребления частей этих фраз ("я живу в" и "Нью-Йорк") и демографических сведений (население двух городов), выяснив, что отношения между двумя показателями являются статистически схожими, неслучайными (что бы это ни значило🙈). "Ожидаемая" частотность рассчитывается на основе таких факторов, как население городов или общие фразы в корпусе, используя точный тест Фишера-Йейтса и биномиальный тест (что бы это ни значило🙈).

😇 "Ожидаемая" частотность - это прогноз того, как часто что-то должно происходить, исходя из определенных известных факторов.

🤯 Всю эту математику и статистику нам сейчас сложно понять, поэтому обратимся к другому примеру.

❓ Как понять, какие слова являются тематически важными для данного корпуса?

💡 Сравнить исходный корпус с референтным корпусом (например, национальным корпусом языка или специализированным корпусом) посредством инструмента "Keyword" (ключевые слова), который рассчитывает на основании "log-likelihood ratio". Коэффициент логарифмического правдоподобия (log-likelihood ratio) сравнивает частотность слов или фраз в двух корпусах текстов (сравнивая их частотность с совокупным количеством слов в корпусе), определяя, насколько значительны эти различия. Он рассчитывается путем сопоставления наблюдаемых частот с ожидаемыми, используя логарифмы, что позволяет выявить статистически значимые отклонения.

❗️ Так, например, в рамках этого исследования, мы сравнивали корпус рабочего движения #БудьякМи и общественной организации "СоцРух". На картинке можно увидеть специфически частотные и релевантные слова для обоих корпусов в отношении друг к другу.

❗️ Впрочем, опять-таки, это не отрицает того, что "простая" частотность биграмм показала нам фокус деятельности #БудьякНіна. Этот фокус можно было показать и посредством "ключевых слов", если бы референтным корпусом был сбалансированный корпус украинского языка (тогда бы высветились слова насчет зарплаты, увольнений и т.д., которые в национальном корпусе были бы менее частотными).

💡 Одним словом, нужно уделить особое внимание статистике в корпусной лингвистике.

❗️ Так можно будет, по крайней мере, больше полагаться на статистику при работе с коллокациями. Представьте себе, что настанет день, когда можно будет сказать: "эти 5 коллокаций были отобраны на основании такой-то статистической метрики до статистически релевантного порога 0.5". Это ведь намного лучше, чем "мы отобрали интуитивно первые две частотных коллокации".

@raumanalysis_ih