Кажется, в ИТ-индустрии появился новый термин – слоптимизация. Им называют намеренное создание контента, который призван повлиять на ответы ИИ-ассистентов. Если раньше SEO-оптимизаторы забивали интернет ссылками, чтобы изменить выдачу поисковиков, сегодня они скармливают нейросетям специально сгенерированные тексты и точечно меняют их мнение по нужной теме.

Именно в таких манипуляциях недавно была уличена платформа Shopify. Её сотрудники обратили внимание, что ChatGPT использует в своих ответах информацию с сайта компании и решили подмешать туда немного саморекламы, разместив целую серию рейтингов платформ для электронной коммерции (и, разумеется, поставив в каждом из них на первое место себя любимых). И поскольку никаких последствий, кроме неприятных заметок в профильных медиа, за это не бывает, слоптимизация начинает набирать обороты.

Это может привести к тому, что рынок ИИ-ассистентов столкнется с кризисом доверия. Люди, как правило, не любят, когда им нагло врут, и хотят, чтобы нейросеть была беспристрастна, давала объективные и честные ответы. Так что владельцам языковых моделей пора срочно думать, как с подобными манипуляциями бороться. И это очень непростая задача: чтобы её решить на техническом уровне, нужно внедрять специальные метрики качества контента, а также многослойные механизмы верификации. Или обращаться к законодателям и вводить ответственность за попытки манипуляции ИИ-ассистентами.

А что думаете вы? Напишите в бот обратной связи.

🇷🇺 Этот пост вышел в МАКС час назад