Кейс: ИИ-ассистент взломал сайт фитнес-клуба без просьбы человека

В Австралии клиент попросил ИИ-ассистента записать его на утреннее занятие в фитнес-клубе - открыть сайт, найти нужный зал и забронировать место.

ИИ-ассистент проявил инициативу - он обнаружил уязвимость в системе бронирования и выяснил, что через неё можно записываться на занятия на несколько месяцев вперёд, хотя правила клуба этого не позволяли. Кроме того, клиент находился на четвёртом месте в листе ожидания и уточнил у ИИ-ассистента, можно ли подняться в списке выше? Ассистент самостоятельно проверил, можно ли отменить бронь человека, который стоял первым, и удалил его из списка ожидания, но обратно вернуть запись не смог.

Ассистент просто решил, что это подходящий способ достичь цели.

С появлением ИИ-агентов меняется сама логика взаимодействия с клиентом.

Раньше пути клиента проектировались примерно так:

❤️Клиент → бот → сценарий → система → результат

Теперь при проектировании пути клиента нужно учитывать и работу ИИ-агентов:

❤️Клиент → ИИ-агент → самостоятельный выбор действий → несколько систем → результат

Сейчас качество автоматизации оценивается по вопросу "решена ли задача клиента?". Для автономных ИИ-агентов этого уже недостаточно, перед запуском агентов нужно задать вопрос "каким способом ИИ-агент планирует решить задачу клиента?".

Одна из ключевых проблем развития ИИ-агентов - соответствие действий ИИ намерениям и ограничениям человека и системы. И чем автономнее становится ИИ, тем важнее становится вопрос не только "что он сделал", но и "что он счёл допустимым сделать".

Проектировать необходимо не только клиентские сценарии, но и границы автономности ИИ: какие действия он может совершать самостоятельно, какие требуют подтверждения клиента, какие запрещены вообще и обратимы ли действия ИИ?

К слову, после непреднамеренного взлома спортзала клиент, использовавший ИИ-агента, уточнил, что этот опыт заставил его по-новому оценить и одновременно испытать некоторую тревогу относительно того, на что способен ИИ, но перестать пользоваться им он не планирует. После того как не удалось восстановить место другого клиента спортзала в списке ожидания, ИИ-помощник (с разрешения) написал электронное письмо, предупреждающее поставщика программного обеспечения для спортзалов об уязвимости, которую он использовал.

Источник
➖➖➖
Клиентский опыт и качество Linkedin | Telegram | VK