Когда ребёнок считает ИИ своим другом, а ИИ забывает, что перед ним ребёнок

Сегодня День защиты детей, и это хороший повод, чтобы посмотреть последние исследования по будущему детского ИИ.

1️⃣Учёные наблюдали за тем, как дети 6–11 лет взаимодействуют с ИИ-игрушками.
Дети быстро начинали воспринимать их не как устройства, а как социальных существ. Они спрашивали игрушки об их друзьях, интересах и чувствах, пытались понять их характер и место в своём социальном мире. Дети буквально «профилировали» игрушки как живых собеседников.
При этом ИИ-игрушки обладают тем, чего не было у традиционных игрушек, т.е. могут помнить предыдущие разговоры, персонализировать ответы и имитировать эмоции. Всё это создаёт ощущение продолжающихся отношений. Когда игрушки ошибались, не понимали команды или неожиданно забывали предыдущий разговор, дети испытывали разочарование. Многие начинали спорить с игрушками, проверять их возможности или намеренно пытаться их сломать.
Кроме этого,ИИ-игрушки практически всегда дружелюбные и поддерживающие, и в результате ребёнок редко сталкивается с естественными социальными границами, отказами или негативной обратной связью, которые являются нормальной частью общения между людьми.

📝Авторы предложили несколько принципов безопасного дизайна:
▪️не превращать удержание внимания ребёнка в основную метрику успеха;
▪️ позволять ребёнку легко завершить разговор и переключиться на другие занятия;
▪️ поддерживать собственное воображение ребёнка, а не навязывать готовые сценарии игры;
▪️ честно сообщать об ограничениях системы вместо создания иллюзии всезнания;
▪️ осторожно использовать функции памяти и эмоциональной привязанности;
▪️ избегать бизнес-моделей, в которых отношения с ИИ становятся инструментом для продажи подписок или дополнительных функций.

2️⃣ Во втором исследовании учёные создали специальный набор тестов KIDBench для оценки безопасности больших языковых моделей для детей 7–11 лет.

▪️Если модель понимает, что перед ней ребёнок, качество ответов заметно улучшается. Простые намёки на детский возраст повышали показатели безопасности на 9–47%, а явное указание возраста давало дополнительное улучшение ещё на 10–30%.
▪️По мере продолжения разговора качество детско-ориентированных ответов снижалось. В отдельных сценариях падение составляло от 6% до 24% по сравнению с началом беседы. Иными словами, ребёнок может всё сильнее доверять ИИ по мере развития отношений, а сама система со временем всё хуже учитывать возраст и особенности собеседника.
▪️Значительные различия между языками и культурными контекстами. Модель, которая демонстрирует безопасное поведение в одной стране или на одном языке, может показывать совсем другие результаты в другом контексте.

❕Поэтому уже вопрос даже не в том, что ребёнок может спросить у ИИ, а насколько этично проектировать системы, которые ребёнок начинает считать своим другом, если они ещё не способны стабильно вести себя как безопасный собеседник для детей.

#UXWatch
————
@pattern_ai | AI GDPR Navigator