⛓️ N-gram'ы, или о непрерывных сочетаниях слов #корпусная_лингвистика

❗️ Корпусная лингвистика демонстрирует (не)регулярности, (не)повторяемости, закономерности слов (и дел).

💪 Коллокации показывают прерывное сочетание слов: близко расположенные слова на определенном расстоянии от искомого слова (5 слов слева и справа).

💡 N-gram'ы (или кластеры, или лексические связки) показывает непрерывную связку слов, которые необязательно являются устойчивыми выражениями, но помогают выстраивать связь между идеями в предложениях. Например, "по моему мнению", "можно мне, пожалуйста, еще [чего-то]", "дело в том, что" - это все n-gram'ы.

🔎 Посмотрели материалы по этому вопросу в нашем корпусе англоязычных книг по корпусной лингвистике (378 наименований).

✅ Пол Бейкер использует n-gram'ы для того, чтобы определить характеристики слова (прилагательные), связь его с другими словами (через союзы) и т.д., которые создают устойчивую ассоциацию с искомым словом.

✅ Кристиан Джонс отмечает, что кластеры состоят из 2-, 3-, 4-х словосочетаний, а частотность их в корпусе резко снижается после 4-х слов.

✅ Ганс Линдквист замечает, что n-gram'ы могут или же не могут быть лингвистически структурированными фразами, то есть, опять-таки, это не идиомы (например, "как сажа бела"). Павел Шударски отмечает, что n-gram'ы определяются только частотным образом, без статистики, а еще могут грамматически полными ("это хорошая идея", "с другой стороны") и неполными ("в случае с", "следует отметить, что").

✅ Даника Салазар утверждает, что n-gram'ы обладают фиксированностью (именно поэтому их легко искать в текстах), их значение в большинстве случаев извлекается из них самих; некоторые n-gram'ы могут варьироваться в своих элементах; короткие n-gram'ы обычно вкладываются в длинные n-gram'ы ("я не могу" - "я не могу ничего поделать" - "я не могу ничего поделать с этим"); они выражают позицию и связывают речь воедино.

✅ Дуглас Бибер отмечает, что лексической связкой считается сочетание слов, которые встречается, как минимум, в 5 разных текстах.

✅ Джон Маквей пишет следующее: "Представление о том, что лексические связки являются кирпичиками языка, было выдвинуто для описания того факта, что наиболее распространенные многословные конструкции не являются идиомами, а скорее частями текстов, которые служат для обрамления дискурса и обеспечения связности, поскольку компетентные пользователи данного вида языка используют их автоматически и с большой частотой, даже в письменном виде".

✅ Хильде Хассельгорд отмечает, что n-gram'ы являются непрерывными последовательностями слов.

💭 Итак, n-gram'ы — это еще одно свидетельство упорядоченности языка. Без n-gram'ов люди не могли бы ничего сообщать друг к другу с достаточной быстротой, и не могли бы понимать друг друга вполне. Мы использовали n-gram'ы, а именно, биграммы, для анализа дискурса #БудьякМи.

💻 В AntConc'е есть два инструмента: n-gram - непрерывные словосочетания по всему корпусу; cluster - непрерывные словосочетания по искомому слову.

@raumanalysis_ih