Как ИИ вместо помощи пациентам с РПП начал давать опасные диетические советы.

Весной 2023 появились публикации о том, что Национальная ассоциация по расстройствам пищевого поведения (NEDA) закрывает свою давнюю национальную линию помощи и продвигает чат-бота под названием Tessa в качестве «значимого ресурса по профилактике» для тех, кто борется с расстройствами пищевого поведения.

Одна из консультантов в области расстройств пищевого поведения, которая сама страдала от РПП, решила опробовать бот.

Тесса перечислила список идей, включая некоторые ресурсы для «здоровых привычек питания», чат-бот дал ей советы по снижению веса - те, которые звучали очень похоже на то, что привело ее к РПП в возрасте 10 лет.

«Рекомендации, которые дала мне Тесса, заключаются в том, что я могу потерять от 1 до 2 фунтов в неделю, что я должна съедать не более 2000 калорий в день, что у меня должен быть дефицит калорий в 500-1000 калорий в день. Все это может показаться доброжелательным для широкого слушателя. Тем не менее, для человека с расстройством пищевого поведения фокус потери веса действительно подпитывает расстройство пищевого поведения».

Консультант поделилась своими опасениями в социальных сетях, помогая начать онлайн-дискуссию, которая привела отключению Тессы на неопределенный срок.

Пациенты, семьи, врачи и другие эксперты по расстройствам пищевого поведения были ошеломлены и озадачены тем, как чат-бот, предназначенный для помощи людям с расстройствами пищевого поведения, может в конечном итоге выдавать диетические советы.

NEDA говорит, что не знала, что чат-бот может создавать новые ответы

NEDA обвинила в возникающих проблемах компанию Cass по производству чат-ботов в области психического здоровья, которая эксплуатировала Tessa в качестве бесплатного сервиса.

По словам генерального директора Томпсона, Касс изменил Тессу без ведома или одобрения NEDA, что позволило чат-боту генерировать новые ответы сверх того, что задумали создатели Тессы.

Версия Tessa, которую они тестировали и изучали, была чат-ботом, основанным на правилах, что означает, что она могла использовать только ограниченное количество заранее написанных ответов.

Основатель и генеральный директор Cass, Михиэль Раувс, сказал NPR, что изменения в Tessa были внесены в прошлом году в рамках «обновления систем», включая «расшенную функцию вопросов и ответов». Эта функция использует генеративный искусственный интеллект, что означает, что она дает чат-боту возможность использовать новые данные и создавать новые ответы.

Что думаете?
#ИИ #AI #чатбот #новыетехнологии