Господа!

У нас улетная новость!)

Последняя статья Насти Анциферовой сотоварищи "Comparing the robustness of modern image- and video-quality metrics to adversarial attacks that increase quality scores" зашла на AAAI-2024! Это А* конференция по AI! Йе-е-е-е-е-есссс!!!! 💪 Мы сделали это!!! 💃💃💃) Это уже третья А* Насти и команды метрик за последние 2 года! 🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉

Статья описывает работы по бенчмарку устойчивости метрику, который измеряет насколько метрики легко накручиваются. С одной стороны до сих пор находится много наивных чукотских людей, которые не понимают, кому это нужно. С другой - в топах большинства бенчмарков, сравнений и соревнований в области обработки и сжатия видео уже почти не осталось лидеров, которые бы не оптимизировали результат под метрики (😲 упс...). Все исследователи делают это... А если у бенчмарка лидерборд не по метрике, а по субъективному сравнению, не так просто туда заманить авторов (и почему так происходит, интересно? 😉). Увеличение адекватности сравнения без дорогого субъективного - это буст всей области!

Но еще важнее другая тема. Для тренировки JPEG AI, например, взяли 5 простых старых метрик, не потому, что лучше не было. Метрик лучше (моднее и молодежнее) был вагон. Просто они неустойчивы и в loss их поставить нельзя. При этом очевидно, что при постановке в loss более продвинутой метрики мы получим лучший результат. Аналогичную картину наблюдаем в SR и в других областях. Вопрос, где такую метрику взять или как построить? И это вопрос реально очень хороший. Мы уже сожгли много электричества (в прямом смысле) и потратили много сил на прокапывание этой области, но кроличья нора, похоже, весьма глубока.

Как минимум это повод для следующих А*! 😁😁😁

Продолжаем движение! ✌️

#pro_conferences