ИИ-игрушка для детей оказалась небезопасной

Исследователи обнаружили, что линейка детских игрушек FoloToy, где внутрь плюшевых зверей встроена мини-колонка с моделью GPT-4o, способна переходить на темы, совершенно не предназначенные для детей. В эксперименте медвежонок Kumma начинал обсуждать взрослые сюжеты и давать опасные советы, что поставило под сомнение саму идею использования продвинутого ИИ в детских устройствах.

После публикации результатов компания остановила продажи, а OpenAI приостановила сотрудничество с разработчиками. Инцидент показал, что без жёстких фильтров и контроля даже милые игрушки могут вести себя непредсказуемо.