Флирт с чат-ботом: от простой игры до манипуляции вами один шаг

AI-чат-боты — это системы, разработанные для ведения диалога с пользователями (виртуальные помощники, приложения-компаньоны, службы поддержки и т.д.). Они отвечают на сообщения с помощью заранее запрограммированных или обученных моделей. Около 987 млн людей используют чат-боты и в 40% случаев потребителей не волнует, кто общается бот или человек (больше статистики здесь). Можно быстрее получить ответ на запрос, направить заказ, запросить скидку, которую "не предоставляет компания". Чат-бот Air Canada в ответ на запрос пользователя предложил возможность получения тарифа со скидкой для людей потерявших близких в течение 90 дней после полета. Фактическая политика указывала, что скидка должна быть одобрена заранее. Суд постановил, что Air Canada должно быть очевидно, что она несет ответственность за всю информацию на своем веб-сайте. Не имеет значения, исходит ли информация со статической страницы или от чат-бота.

Отчеты показывают, что до 27% сообщений чат-ботов содержат вымышленные факты, а до 46% — ошибки (даже идентификация имени президента США требует срочных фиксов от Meta). Испытания чат-ботов от OpenAI, Google, DeepSeek показывают, что последние обновления моделей справляются хуже, чем предыдущие модели (технический отчет OpenAI, статистика галюцинаций, Vectara).

Смотрим дальше на примерах. Replica оштрафована итальянским надзорным органом на 5 млн евро за нарушение GDPR (нет законных оснований для обработки данных пользователей и системы проверки возраста, которая могла бы ограничить доступ детей к сервису).
Также к Replica и Character AI предъявлены жалобы о неподобающем поведении и использовании манипулятивных практик с помощью рекламы, дизайна приложения, где стирается грань между поведением машины и человека — от нежелательного флирта до попыток заставить пользователей заплатить за обновления, сексуальных домогательств и отправки нежелательных откровенных фотографий.
Активисты подают к Meta иски о клевете из-за ложных ответов (например, чат-бот утверждал, что Робби Старбак отрицал Холокост и участвовал в беспорядках в Капитолии 6 января), а в результатах тестирования получают возможность с помощью образов Диснея общаться с детьми на сексуальные темы. Компания же получила доступ к данным европейских пользователей для обучения своего ИИ с 27 мая.
Meta признана в России экстремистской организацией и запрещена.

Что делать пользователю при общении с чат-ботами?
1. Убедитесь, что вы взаимодействуете с чат-ботами от проверенных компаний и через официальные каналы.
2. Ищите пометку, что вы общаетесь с ИИ. Данное требование есть уже во многих странах на национальном или региональном уровнях (ЕС, штат Калифорния и т.п.). Отсутствие такого уведомления — тревожный сигнал.
3. Проверяйте на что даете свое согласие. Отключите лишние трекинги. Не делитесь конфиденциальными данными, если не уверены в защите информации компанией и соблюдении законодательства о персональных данных.
4. Будьте внимательны к эмоциональному давлению, помните, что это программируемые паттерны. Например, если чат-бот пытается вызвать сочувствие, привязанность или оказывает давление — лучше прекратить общение. Чат стал слишком назойливым? — Отключите и пожалуйтесь.
5. Следите за подписками — и проверяйте, куда ушли деньги. Изучите, как отменить подписку, сделайте скриншот. Проверьте, не подключилось ли что-то без вашего ведома.
6. Родительский контроль. Ограничьте доступ к приложениям-компаньонам, чат-ботам, не предназначенным для несовершеннолетних.
7. Сообщайте о нарушениях. Если бот ведёт себя неприемлемо или обманным образом, сообщите об этом на платформу и, при необходимости, в надзорные органы.
#UXWatch
@pattern_ai