Проверка чат-бот приложения для смартфона, что нашел регулятор

Бельгийский орган по защите данных рассказал о результатах проверки мобильного приложения с чат-ботом на базе больших языковых моделей. Название сервиса в пресс-релизе не раскрывается.

👀 На что обратили внимание инспекторы:

1️⃣ Сроки хранения переписки. История диалогов может содержать огромный объём персональных и чувствительных данных.
По мнению регулятора, многие компании устанавливают длительные сроки хранения "по умолчанию", не объясняя, зачем это действительно нужно.
Аргумент "нам может когда-нибудь понадобиться эта информация" уже давно не считается обоснованием.

2️⃣ Непрозрачность. Пользователи не понимают, как именно обрабатываются их разговоры внутри компании:
- сохраняются ли их диалоги;
- кто имеет к ним доступ (разберем в следующем посте);
- передаются ли они подрядчикам;
-используются ли для дообучения моделей.

Отдельно регулятор критикует расплывчатые политики конфиденциальности, которые не объясняют эти процессы простым языком.

3️⃣ Отсутствие ясности в распределении ролей.
В современных ИИ-сервисах обычно участвуют сразу несколько сторон:
- разработчик приложения;
- поставщик облачной инфраструктуры;
- поставщик языковой модели;
- сервисы аналитики и мониторинга.
Инспекторы отмечают, что компании часто сами не могут чётко определить, кто является контролером, совместным контролером или процессором данных.
В результате появляются пробелы в договорах, уведомлениях и процедурах реализации прав пользователей.

4️⃣ DPIA проводится слишком поздно.

По наблюдениям регулятора, команды сосредоточены на функциональности, пользовательском опыте и масштабировании продукта, а оценку воздействия на защиту данных проводят уже после запуска, а защита данных должна быть частью проектирования системы, а не дополнительным слоем после релиза.

✏️Ваш мини чек-лист для разговорных приложений с ИИ:
▪️ Можете ли вы обосновать каждый день хранения истории переписки?
▪️Поймёт ли обычный пользователь, что происходит с его сообщениями после отправки?
▪️ Есть ли у вас задокументированная карта ролей всех участников ИИ-экосистемы?
▪️ Была ли оценка воздействия на защиту данных проведена до запуска продукта?

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator