Google Play и App Store постоянно ужесточают правила для UGC приложений, а пользователи постоянно придумывают новые грани токсичности контента. Посередине стоит iFunny с его системой модерации контента (таможня).

Всю жизнь мы делали модерацию с помощью админки и украинских фрилансеров. Такой подход работает, стоит недорого, но люди ошибаются раз на десять картинок.

В прошлом году мы собрали команду из умных ребят, и сделали нейросеть для модерации контента. Взяли датасет забаненных картинок, и обучили нейронку для классификации изображений с архитектурой EfficientNetB4. Получился сервис, который на каждую картинку может сообщить, бан это или нет, и с какой вероятностью.

В феврале запустили на iFunny в тестовом режиме, сразу увидели что качество модерации немецкое, и ошибок на порядок меньше. Через две недели раскатили на всех.

Получилось настолько круто, что мы открыли нашего автомодератора для всех. Посмотреть как это работает можно тут https://moderation.fun.co/