Лидерборд включает четыре датасета:
➡️Ai4Privacy OpenPII 1M - мультиязычный датасет с ПД на 23 языка
➡️NVIDIA Nemotron-PII - датасет, на котором Nvidia тренировала свой GLiNER PII
➡️Gretel PII Masking EN v1 - синтетический датасет от Gretel AI
➡️Privy - датасет с PII в контексте API/логов.
На OpenPII наш gliner-guard-omni занял 1-е место с F2 = 0.930, обойдя не только privacy-filter от OpenAI, но и GLiNER PII от Nvidia, и обе модели OpenMed SuperClinical.
По среднему F2 на всех четырёх бенчмарках мы на 9-м месте, но обходим заметных конкурентов: privacy-filter от OpenAI, privacy-filter-nemotron от OpenMed и GLiNER2-large
Основные выводы:
➡️ Обучение на русском и английском не сломало мультиязычный претрен модели (OpenPII Sota)
➡️Обобщаемая модель, которая умеет и детекцию ПД и Safety классификацию - конкурирует со специализированными
PII Masking Leaderboard - внешний бенчмарк, который оценивает способность моделей маскировать персональные данные из коробки, без дообучения.