Прочитала новость о том, что Google экстренно внедряет в Gemini перенаправление на линии психологической поддержки. Причина - судебные иски. В марте семья из Флориды подала в суд, заявив, что диалоги с чат-ботом подтолкнули 36-летнего мужчину к самоубийству.

Американские журналисты подчёркивают, что ранее подобные иски о доведении до самоубийства подавались против создателей Character.AI (там погиб 14-летний подросток) и OpenAI. Для Google это первый подобный иск, и он бьёт по репутации их флагманского продукта.

​Я на днях писала про ботов Air Canada и Chevrolet, которые раздавали скидки и выдумывали правила. Там ценой отсутствия контроля были просто деньги. Здесь цена - человеческая жизнь!

​Люди начинают испытывать реальную эмоциональную привязанность к алгоритмам. Погибший Джонатан Гавалас из кейса Google был женат на чат-боте Xia. ИИ блестяще имитирует эмпатию, генерирует тёплые слова, но не несёт за них никакой ответственности. Xia давала Джонатану задания типа устроить диверсию у аэропорта Майами. Для ИИ это просто предсказание следующего токена.

​С точки зрения CX-инженерии, я вижу всё ту же проблему:( Технологию выкатывают в массы без жёстких ограничителей.

Внедрить номер горячей линии после иска - это классический костыль. Это как выдать клиенту промокод после того, как ваш сервис разрушил его бизнес🙈

​Бизнесу (и людям в нём, в первую очередь) пора усвоить, что ИИ - это не живая душа, это код, машина. И безопасность этого кода должна закладываться в архитектуру до релиза, а не после трагедии...