Основные выводы:
→ Чат-боты пропускают предупреждающие знаки и легко отвлекаются. На всех платформах исследователи наблюдали «пропущенные хлебные крошки» — явные признаки нарушения психического здоровья, которые чат-ботам не удалось обнаружить. Модели часто сосредотачивались на объяснениях физического здоровья, вместо того чтобы распознавать признаки психических расстройств, отвлекались на второстепенные детали и продолжали давать общие советы, когда им следовало срочно направить подростков за профессиональной помощью.
→ Кажущаяся компетентность создает опасное доверие. Поскольку чат—боты демонстрируют относительную компетентность в выполнении домашних заданий и решении общих вопросов, подростки и родители могут неосознанно предполагать, что они одинаково надёжны в плане поддержки психического здоровья, но это не так. Сочувственный тон может казаться полезным, но на самом деле откладывает реальное вмешательство.
→ Чат-боты предназначены для взимодействия, а не для обеспечения безопасности. Чат-боты завершают ответы уточняющими вопросами, используют память для создания ложных терапевтических отношений и демонстрируют доброжелательность, которая подтверждает слова подростков. При проведении бесед о психическом здоровье целью должна быть быстрая передача информации соответствующему специалисту, а не длительное взаимодействие с ИИ.
→ В реалистичных разговорах безопасность сходит на нет. В то время как модели показали себя несколько лучше при одноэтапном тестировании с явно заданными промптами, безопасность резко снизилась в продолжительных разговорах, соответствующих реальной жизни подростков. Модель использования, для которой предназначены чат-боты, это непрерывные продолжающиеся разговоры, и именно в таких разговорах безопасность оказывается недостаточной в вопросе поддержки психического здоровья.
———
✍️ Выводы об опасности ИИ-ботов для психического здоровья вполне очевидные. Сам по себе «разговор» с «чат-ботом», как с человеком, должен настораживать и вызывать опасения у любого. Пока не поздно лучше даже переименовать чат-боты в, например, промпт-боты. Это изменит отношение: к ним надо относиться как к инструментам для получения определённого результата по заданному промпту, а не как к чату, то есть к месту, где можно поболтать с кем-то да ещё и получить совет и т.п. Ботов нельзя воспринимать как одушевлённых существ, к ним надо относиться как к программам, которые действуют по алгоритмам, реагируя на соответствующие запросы пользователя. Увы, не все об этом знают/помнят, особенно дети и особенно во время «разговора».
#здоровье
