Пушкин, терминатор и звездолет

Продолжаем праздновать День рождения А. С. Пушкина и вспоминаем наш материал о семантическом поисковике по его текстам на основе векторной семантики. Благодаря word2vec можно не только создавать тексты, синонимичные оригиналам, но и найти аналог «интернета» в тексте Пушкина. Разбираемся, как это сделать.

Кратко: о чем статья?

Word2vec умеет строить семантический вектор слова, т. е. определять, что «кот» ближе к «собаке», а не к «картошке», а «вилка» вероятнее встретится в одном предложении с «блюдом», чем с «зоопарком». Обработав алгоритмами большое количество текстов, можно получить готовые наборы семантических векторов для множества слов, они называются «векторные модели». Пользуясь этими моделями на сайте проекта RusVectores, пользователь GitLab opennota написал семантический поисковик по текстам Пушкина.

Интерфейс программы — это поле запроса, где можно ввести слово или группу слов. Благодаря нему в текстах находятся не только вариации на тему «карусели» в текстах автора, поиск дает результаты и в тех случаях, когда слова из запроса явно не могут встречаться в произведениях Пушкина. Например, если попросить программу найти «звездолет», она предложит строки из стихотворения «Под каким созвездием…» и стих «Плывет корабль как лебедь громовержец», который не был напечатан при жизни Пушкина.

Посмотреть, какие тексты и строки поиск предложил по запросам «коммунизм» и «терминатор», а также детальнее разобраться с принципом работы векторной модели можно, перейдя к полному тексту материала.

Время чтения: 10 минут.