В прошлой части я рассказала про технологии верификации. А в этом посте расскажу про практику на той платформе. Тут будет не только про верификацию, но и про модерацию, потому что обе темы относятся к комплаенсу.
Мне разрешили, так что NDA я не нарушаю.
⚡️Стек, к которому мы пришли
Верификация личности и возраста: закрыли через Yoti. Выбор IDV-вендора был командным решением. Ориентировались на:
— покрытие юрисдикций;
— точность age-estimation;
— сертификацию liveness на устойчивость к спуфингу (ISO/IEC 30107-3 PAD);
— data residency;
— аудит-трейл.
‼️ Верификация сама по себе создаёт риск.
Платформа собирает документы и биометрию, а значит, data-minimization, сроки хранения и согласие на обработку попадают в тот же комплаенс.
✨ Модерация сделана гибридной. Перцептивные хеши на известный нелегальный контент, AI-классификатор и человек на дополнительную проверку.
🔽Главная боль платформы: ручная модерация.
Она есть, потому что платёжки требуют обязательную ручную модерацию для 18+ платформ: контент обязан просмотреть человек до публикации (и/или в определённый срок после).
И это требование не только платёжек. Есть также EU DSA, UK Online Safety Act и волна age-verification законов в штатах, так что проектировать стек приходится под самую строгую из рамок и ориентируясь на общий тренд.
👉 С реальностью начинающего продукта это сочетается не очень хорошо::
— поток контента после привлечения авторов и старта трафика огромный и 24/7;
— стоимость ручного ревью линейно растёт с объёмом, а бюджет нет;
— duty of care (о нём тоже все забывают). Модераторы работают с тяжёлым материалом, по-хорошему им нужны ротация и поддержка, иначе люди выгорают (или получают депрессию, тревожность, ПТСР/кПТСР) и снижается качество модерации.
🔽 Вторая боль: дообучение классификатора под нашу специфику.
Коробочная модель даёт много ложных срабатываний, а каждый false positive приводит к лишней ручной проверке.
Снижение FPrate — это прямое сжатие ручной очереди и расходов. Отдельный проект внутри продукта.
Дипфейк-детекция и провенанс (C2PA / SynthID / Sensity) мы будем реализовывать на следующем этапе, после того как обкатаем текущую базу и поймём, куда идём дальше.
🤩 Расскажите, что вас бесит в модерации платформ, а я расскажу, почему они делают так, а не иначе.
💌 Пообщаться с автором в DM канала или боте: @pecetsbot
@contentaboutcontent
@contentaboutcontent
@contentaboutcontent