💻 Корпусная лингвистика работает с частотностью на разных языковых уровнях текста. Частотность слов в тексте, например, существительных, может дать понимание того, о чем данный текст. Частотность коллокаций к определенному слову – какое значение может иметь данное слово.
👭 Однако не менее важным является поиск частотных словосочетаний, поскольку многие языковые, концептуальные конструкции являются словосочетаниями («рабочий класс», «корпусная лингвистика», «крем для торта» и т.д.). В общем-то при вводе слова в любом веб-поисковике вы сразу же можете увидеть список подходящих словосочетаний.
⌨️ Программа «AntConc» позволяет генерировать n-граммы, то есть, словосочетания любой длины (об этом говорит буква «n», то есть, n-ное количество) во всем корпусе. Это могут быть биграммы (то есть, двухсловные словосочетания 👯♂️), триграммы (трехсловные словосочетания👩👩👧) и т.д.
В отличие от генерирования кластеров, для поиска n-грамм не нужно вводить никакие слова, поскольку поиск n-грамм показывает частотные словосочетания во всем корпусе, а поиск кластеров – исходя из указания хотя бы одного поискового слова, чтобы найти для него соответствующее словосочетание.
✅ Вот, например, в статье о репрезентации #metoo движения в Твиттере и Реддите авторы пишут, зачем им понадобились n-граммы: "Мы извлекли n-граммы, чтобы получить общее представление о контенте".
✅ Вот еще пояснение необходимости использования n-граммов: "Иногда одно слово не может точно передать значение, и для лучшего понимания необходимо рассмотреть группу из n слов. Для этого используется n-граммный анализ. Это метод позволяет найти непрерывную последовательность n слов из заданного текста".
❗️✊В нашем анализе постов движения "#БудьякМи" в Facebook'e мы как раз использовали n-граммный метод.
🖼 На картинке внизу можно увидеть визуализацию 14 частотных биграмм👬 (стеммированных слов, то есть, урезанных до их основ) из группы #БудьякНіна на украинском языке.
🤌 Итак, на основании биграмм представляется возможным понять, о чем идет речь в корпусе: чьи интересы защищаются, какие требования у рабочих и т.д.
Ставьте реакции, оставляйте комментарии и делитесь этой записью!
@raumanalysis_ih
