Сегодня Tech Transparency Project (с утопическим слоганом Holding Big Tech accountable) залетел в медиа с расследованием: в официальных сторах Apple и Google доступны десятки приложения с функцией "раздевания".
В чём суть отчёта?
TTP нашли 55 таких приложений в Google Play и 47 в App Store; суммарно — 705+ млн загрузок и около $117 млн выручки (создатели отчёта оценили всё с помощью AppMagic). Плюс отдельный неприятный нюанс: часть приложений ориентированы на несовершеннолетних по возрастным рейтингам/упаковке, но позволяют генерировать контент 18+. Прочитав репорт могу сказать, что это по большей части обычные приложения для генерации изображений, которые умеют еще и рисовать наготу. Но есть и отдельные сервисы, которые специализируются на таком контенте.
Почему людей (и СМИ) это так волнует?
Очередная волна обсуждения эротических дипфейков началась в Твиттере, где стало можно призвать Грок под фотографию любого человека и попросить его (но чаще её) переодеть в бикини. Пользователи твиттера, а затем и журналисты поняли следующее: создать интимный контент с чьим-то лицом без согласия стало проще, дешевле и массовее. И чем легче доступ (официальный стор, поиск, призыв бота в реплаи), тем быстрее это нормализуется как “обычная функция”.
Что за Tech Transparency Project?
Впервые слышу, честно говоря, но судя по описанию это watchdog-инициатива, которая исследует и публично подсвечивает проблемные практики бигтеха. Изначально создавались как Google Transparency Project и организационно связаны с Campaign for Accountability. Классические не слишком прозрачные практики публичной политики.
Кто
Это цепочка:
• Разработчик приложения — потому что он проектирует функцию и зарабатывает на ней.
• Стор/платформа — потому что именно они дают масштаб (аудитория, дистрибуция, платежи).
• Пользователь (чаще всего самый крайний, если говорить про персональные риски) — потому что он совершает конкретное действие против конкретного человека.
И ещё поставщик технологии (если есть) — в той степени, в которой он предсказуемо может ограничить злоупотребления и всё равно этого не делает.
Что делать, если у вас есть сервис генерации изображений? (чтобы не стать “тем самым кейсом”)
• Учиться у лидеров рынка (того же гугла) и прямо прописать в правилах: zero tolerance для non-consensual sexual content и undress/see-through. Возможно ваша модерация сработала неэффективно, но это частный случай, а не системный подход.
• Встроить базовые предохранители: запрет “раздевание”, флаги на сексуализированный контент, быстрый репорт, логирование, бан повторных нарушителей.
• Прописать ответственность в пользовательском соглашении (всегда рекомендую не забывать про юристов).
• Отдельно есть смысл обратить внимание на возрастные риски (несовершеннолетних): правила, модерация, скорость реакции.
• Подготовить план на случай "абьюза" сервиса для пиара/саппорта/продакта: кто принимает решения, какой SLA, какие шаблоны ответов, какие материалы собираем.
И моя классическая присказка вместо вывода: технологии развиваются, проблемы остаются. Травля, шантаж, порноместь и прочие приёмы появились не вчера.