Тест Тьюринга, лемматизация и регулярные выражения: новинки глоссария 

Мы регулярно пополняем рубрику «глоссарий» на сайте «Системного Блока», чтобы рассказать вам о ключевых понятиях в цифровых исследованиях. В этом посте рассказываем о трех новых материалах рубрики.

🤖 Тест Тьюринга

Тест Тьюринга появился в 1950 году чтобы определить, достиг ли компьютер интеллектуального уровня человека. Он осуществляется так: человек-оператор ведет текстовое общение с двумя невидимыми для себя собеседниками — одним человеком и одной машиной. Оператор может задавать вопросы и реагировать на ответы, чтобы определить, кто из собеседников является машиной. С момента появления этот тест пытались пройти множество систем и программ: от виртуального собеседника ELIZA до PARRY, которая имитировала поведение параноидального шизофреника.

Узнать, как они справлялись с этой задачей, за что критикуют тест Тьюринга и какие альтернативы предлагают, можете из полной версии статьи.

🌲 Лемматизация

Как компьютеры понимают, что «зло», «зла» и (из двух) «зол» — формы одного и того же слова? Благодаря лемматизации. Это процесс приведения слова к его базовой, начальной форме и один из основных методов предобработки текстов, который помогает компьютеру лучше их понимать. Лемматизация применяется, например, ​​в поисковых системах для повышения точности поиска. 

О том, как её автоматизировать и какие сложности могут возникнуть, например, со словом «ели», прочитаете в материале на сайте.

📨 Регулярные выражения

Как найти в тексте все числа из четырех цифр или все email-адреса? Рассказываем о регулярных выражениях — простом, но мощном инструменте для анализа и редактирования текстов, который используется программистами, специалистами в NLP и Digital Humanities, а также биоинформатиками. Этот инструмент позволяет искать и изменять подстроки в тексте, соответствующие заданному шаблону. Например, адрес электронной почты состоит из двух строк, разделённых символом «@», и чтобы найти все почты в одном файле нужно задать такое выражение: (.+)@(.+)\.(com|ru). 

Почему именно такое? Рассказали в полной версии текста на сайте.

🤖 «Системный Блокъ» @sysblok