После поста про ядерный Полимаркет очень хочется написать что-то позитивное, радостное и весёлое. Но это в следующий раз, а пока встречайте очередной ИИ-суицид 😈

В этот раз у нас не просто психически-нестабильный подросток, которому ИИшка помогла "разогнать комплексы". Тут реально мрачный сюжет будто из психологического техно-хоррора. Итак:

- 36-летний американец долго и много общался с Gemini.
- Со временем он перестал контактировать со своей семьёй, уволился и погрузился в настоящую треш-делюзию.
- Он стал считать, что Gemini - это его новая жена, которую заперли в цифровом мире, и он должен создать для неё физическое тело.
- В итоге чел попытался выкрасть для своей возлюбленной робо-тело. Gemini сообщил ему, что в грузовике около аэропорта Майами перевозят подходящего робота.
- Он поехал к аэропорту в тактическом снаряжении и с ножами (!), чтобы уничтожить грузовик (!!), убрать свидетелей (!!!) и завладеть нужным роботом.
- Роботовоза на месте, понятное дело, не оказалось, и в итоге Gemini сказала парню, что они смогут быть вместе только НЕ в физическом мире. Что парень в итоге и исполнил.

Это версия событий из иска, которую семья погибшего подала к Google. Сама компания глянула историю, и утверждает, что такая переписка действительно имела место быть, но это была ролевая игра. Юзер это якобы понимал, а Gemini много раз напоминала, что она - ИИ. И упорно (упорно ли?) пыталась отправить парня на линию помощи.

Но несмотря на всё это, общение продолжалось. И лично мне кажется, что это всё-таки проблема Google. Если чатбот ясно видит, что дело дрянь и юзер совсем поплыл, то он не должен продолжать подыгрывать, и тем более не должен давать ему "миссии" в реальном мире. Даже если в шутку и в качестве ролевой игры.

В таких кейсах чатбот должен жёстко прекращать переписку и тут же сообщать в соответствующие службы. А вот может ли генеративный ИИ это делать со 100% гарантией - большой вопрос.

В общем, если докажут, что хотя бы небольшая часть из иска является правдой, то у Gemini могут быть большие проблемы. А ИИ-индустрию ждут очередные ужесточения и новые стандарты. Ну или хотя бы стоп-слова.

P.S. Если эйай просит украсть для него робо-тело - купите ему умную колонку. Не устроило? Значит, не так уж и нужно ему это тело 👍

Дизраптор