«Героиня», «Драгунский», «Опорно-двигательный аппарат» – как ИИ борется с пропагандой запрещенных веществ в литературе

Член РАПК, интернет-технолог Захар Рубцов и его еженедельная рубрика:

— Мы все прекрасно знаем, что иногда нейросети могут достаточно сильно ошибаться. Но порой работа ИИ приводит к таким нелепым результатам, что становится скорее смешно, чем грустно. Итак, как вы знаете, с 1 марта в России заработали новые поправки к закону о запрете пропаганды наркотиков. Штрафы там большие, в отдельных случаях вплоть до уголовной ответственности, поэтому многие книжные издательства решили перестраховываться. И вот задача: нужно проверить огромное количество текстов на запрещёнку и при этом не потратить на это несколько лет. Что же делать? Правильно – нейросети!

В общем, для автоматической проверки издательства подключили ИИ-инструменты, которые просматривали тексты и выискивали упоминания о веществах. И вот тут началось самое интересное. Нейросети стали реагировать на слово «героиня» (видимо, из-за созвучного названия наркотика), фамилию писателя Коноплева (по той же причине), а словосочетание «опорно-двигательный аппарат» вообще промаркировали как порнографический контент. Разумеется, на этом искусственный интеллект не остановился, обозлившись затем на фамилию Драгунский (видимо, из-за созвучия с английским словом drug). А речь идёт, напомню, об авторе «Денискиных рассказов»!

Но нельзя однозначно сказать, что это всё вина ИИ. Алгоритмы ведь работают по достаточно простому принципу сопоставления паттернов. Нейросеть просто сверяет загруженный текст с базой запрещённых слов. Проще говоря, работает по ключам. А т.к. настройки выкручены достаточно широко (чтобы точно ничего не пропустить через фильтр и не нарваться на штраф), то вот она и выделяет даже те слова, которые не стоило бы. В результате случаются такие комичные ситуации, из-за которых редакторы теперь будут всё вручную перепроверять и тратить на это часы.

Уверен, подобных ошибок будет меньше, ведь закон только вступил в силу и, полагаю, многие издательства сейчас в спешном порядке пытаются выполнить работу с проверкой текстов. В результате ИИ-фильтр в этой истории стал не осознанным выбором, а вынужденным костылем. Нейросети не успевают до обучиться под конкретную задачу, а ведь закон-то уже работает. И до тех пор, пока нейросеть не поймёт, что от неё хотят – под запрет будут и дальше попадать вполне невинные слова, фамилии классиков и медицинские термины.