OpenAI Privacy Filter VS «Маскировщик»

В конце апреля OpenAI представила Privacy Filter — модель для маскирования персональных данных. Мы решили проверить, как она работает на хорошо знакомых нам типах российских данных.

Для анализа взяли 57 документов, 1280 сущностей. Проверяли на медицинских протоколах, страховых полисах, договорах, разных текстах без четкой структуры. Пробовали запустить консистентное маскирование.

В сухом остатке: открытая модель «шумит» на 52% больше, чем «Маскировщик», на 10% больше пропускает и не годится для консистентного маскирования.

Основные цифры — в таблице. Подробней о работе OpenAI Privacy Filter в конкретных сценариях рассказали в статье в блоге.

HFLabs — о клиентских данных