Можно ли с помощью одной лишь математики определить, есть ли в этих текстах грамматика?
На первый взгляд кажется, что нет. Ведь грамматика — это часть языка, а язык невозможен без смысла. Однако существуют математические методы, которые позволяют исследовать структуру последовательностей, не пытаясь понять, что они означают. Именно эти методы уже несколько десятилетий активно применяются, в том числе к…
⏩️песням горбатых китов⏪️
Они давно привлекают внимание биологов. В отличие от многих животных, киты не ограничиваются сигналами и криками. Самцы могут петь часами, повторяя длинные последовательности звуков. Более того, одна популяция исполняет одну и ту же песню, которая меняется от года к году.
⠀
⠀⠀⠀Но как изучать такую песню?
⠀⠀⠀⠀⠀⠀⠀⠀⠀ ⠀👀
⠀⠀
⠀⠀⠀⠀⠀⠀⠀⠀⠀1️⃣ шаг
⠀
Исследователи разбивают запись на условные «ноты». Каждому типу звука присваивается свой символ: A, B, B, C, D, A, E, B, C…
⠀
⠀⠀⠀⠀⠀⠀⠀⠀⠀2️⃣ шаг
Определить, насколько эта последовательность случайна.
⠀
Для ответа используется понятие, введённое математиком Клодом Шенноном ещё в середине XX века, — информационная энтропия.
🔸Следующий символ невозможно предсказать — энтропия велика
🔸Последовательность повторяется — энтропия мала.
Но почти сразу возникает неожиданная проблема. Низкая энтропия ещё ничего не говорит о наличии сложной структуры. Последовательность A, A, A, A, A, A, A имеет чрезвычайно маленькую энтропию. Однако никто не станет утверждать, что в ней скрыта грамматика. Значит, одного измерения энтропии недостаточно.
⠀
⠀⠀⠀⠀⠀⠀⠀⠀⠀3️⃣ шаг
Построить марковскую цепь. Предположим, что каждый следующий звук зависит только от предыдущего. Такая модель называется марковской цепью: математически это означает, что вероятность следующего символа определяется только текущим состоянием системы.
Подобные модели используются повсюду: при распознавании речи, анализе ДНК, моделировании погодных процессов, работе поисковых алгоритмов. Во многих задачах они оказываются удивительно эффективными.
Если песни китов представляют собой просто длинную последовательность локальных переходов между звуками, марковская модель должна описывать их довольно хорошо.
Кстати, в научных статьях также появляется слово «синтаксис». Но тут важно не обмануться: в математике и теории информации это слово употребляется значительно осторожнее, чем в лингвистике. Киты вовсе не разговаривают друг с другом предложениями. Последовательности подчиняются внутренним правилам и статистическим связям.
⠀
На последнем этапе исследователей ожидал сюрприз. Выяснилось, что простая марковская модель не воспроизводит наблюдаемую структуру песен, потому что в них обнаруживаются зависимости, сохраняющиеся на очень больших расстояниях.
Авторы исследования, опубликовавшие в 2006 году статью «Информационная энтропия песен горбатых китов», нашли в песнях два характерных масштаба организации:
🔸один — на уровне коротких фраз из шести-восьми звуков
🔸другой — гораздо шире: от ста восьмидесяти до четырёхсот звуков
Иначе говоря, отдельные ноты объединяются в небольшие фразы, а фразы, в свою очередь, складываются в крупные композиционные блоки — причём сама эта иерархия была впервые предложена ещё в 1971 году биологами. Позже её подтвердили математически.
Фанфакт: оценки энтропии показывают, что максимальный объём информации, который киты передают такой последовательностью звуков, — меньше одного бита в секунду. Не так уж много для того, что выглядит настолько сложно организованным.
Голосуйте реакциями, что математикам стоит расшифровать этим способом дальше:
🕊 — пение птиц
🗿 — генетические последовательности
🌚 — древние письменности
👾 — космические сигналы
#как_устроено