Для измерения результата исследователи применяют самые разные метрики, включая знакомые лингвистам расстояние Левенштейна (посимвольное) и ROUGE, кроме которых вводят свой ASR: если оцененная с помощью MiniLM семантическая близость двух текстов (оригинала и реконструкции) больше 0,5, то атака успешна. Почему 0,5? “We have observed that when φ > 0.5 then the underlying topic is indeed captured in the inferred text, indicating a successful attack” (гигачад-лицо) Если вам интересно, откуда взялась цифра 29% успеха в газетах – это реконструкции с φ > 0.9, что достаточно высокая планка. Для контекста, между предложениями “I love you.” и “I hate you.” косинусное расстояние 0.585 (можете сами потыкать). Эти метрики даны «в идеальных условиях», т.е. это метрики модели на синтетических данных, а не на PCAP’ах, но и на пакетах они тоже достаточно высоки.