В качестве прикольного дополнения к последней лекции, на которой было выдано задание о взломе метрики двумя способами - примеры еще более интересных взломов.
Здесь два типа примеров:
1. Берется запрос на генерацию картинки (тут SD 1.4) проходит обычный процесс итераций диффузии (a la classifier guided diffusion), но добавляются градиенты, вызывающие повышение метрики, где Scale - это коэффициент, на который домножается градиент перед добавлением к шуму. Каждая картинка - разная генерация с разным коэффициентом влияния. Тут прикольно посмотреть, какие картинки "любит" метрика (в данном случае No-Reference MANIQA).
2. Берется исходное изображение (фото стола), оно (а точнее его латентное представление) зашумляется и восстанавливается SD 1.4 (FR Scale - насколько перерисованное изображение близко к исходному). При этом взлом пытается сохранить близость к оригиналу. Тут на картинке прикольно наблюдать, как меняются реальные детали (в данном случае пузырьки с косметикой) и как при этом меняется взлом META-IQA + как сама картинка.
Понятно, что это самое начало процесса получения все более навороченных взломов, когда картинка/видео вроде похожи на реальные и выглядят совершенно естественно, но метрика 🤷♂️ накручена)
В этой задаче крайне актуально маскировать накрутку. Очень интересное направление - маскировка накрутки под вотермарк (типа вотермарк канала - но наложенный в таком месте и с такой силой, что метрика становится выше). Или надпись копирайта. Или подпись/субтитр ))) 😲 Веселье только начинается! 😉
В общем -