Господа!

Что-то я наши новости не кидаю, а они таки у нас есть!

Так у нас ОПУБЛИКОВАН НОВЫЙ (15-й по счету!) бенчмарк MSU Metrics Robustness (пока бета)! 👍

В нем 15 метрик качества видео и картинок проанализированы на предмет устойчивости к 9 видам состязательных атак, включая популярные FGSM-based, толкаемые в т.ч. нами Universal Adversarial Perturbation-based и Perceptual-aware атаки.

Внимательный читатель заметит, что в соседнем бенчмарке у нас 49 метрик качества в лидерборде, так что есть куда расширять (другое дело, что это огромная работа).

У этого бенчмарка самая большая команда (большинство других делало 1-2 человека). Потенциально - это безмерно интересный бенчмарк, который может стать одним из наших самых звездных.🆒

Интересно, что тема непреднамеренного взлома (когда метрика в loss непреднамеренно ломается при обучении сети, т.е. при обучении находятся недостатки метрики, а не улучшается модель, чего обучающий может сразу не заметить) постепенно становится все более и более популярной. На КДПВ (который чуть-чуть виден на скриншоте выше) видно, как нейросетевая метрика почти в 4 раза (эпичный пример!) поднимается взломом, портя при этом картинку, а не улучшая ее, как должно быть при улучшении метрики. И у нас есть шанс глубоко прокопать эту интереснейшую тему! 👍

Публикация была привязана к отдаче статьи, углубление работ продолжается (в частности сейчас уперлись в потолок по вычислительным мощностям). Не будем останавливаться на достигнутом! 😁