Осторожно, чтение для упоротых гиков. При этом легкое, как детектив и с юмором.
Меня больше всего сразил тот факт, что апскейлеры не просто разгоняют картинку, они додумывают что-то свое, и это "свое" может быть целыми арт-объектами. Можно искать пасхалки в разогнанных изображениях.
Длинное, познавательное чтиво от Димы Ватолина, в котором срез технологий ИИ-апскейла на начало 2023 года.
И, как обычно, вопросы оценки качества этого самого апскейла: как измерять будем? На глаз или по метрике?
Для тех, кто утратил способность читать большие тексты приведу козыри из эпилога:
Новые метрики произведут революцию. Серьезный challenge на ближайшие годы — детектирование и уменьшение новых видов артефактов. Это можно делать за счет совершенствования алгоритмов и увеличения обучающих выборок, но результат это в ближайшее время гарантировать не может. Поможет детекция и, возможно… опять GAN архитектура.
Увеличение разрешения до 8К станет базовым, начнутся работы с 16К. Если посмотреть, то работы по 8x Super-Resolution уже довольно много. Для узких кейсов, типа электронной микроскопии, работы вообще давно идут. Для случая универсальных данных работы только начинаются, но уже понятно, что они будут весьма перспективны.
Китай захватит мир. Ну и традиционно хочу обратить внимание на то, что творят эти
GFPGAN, Tencent PCG Applied Research Center, Китай
waifu2x, на основе статьи The Chinese University of Hong Kong, Китай
Real-ESRGAN, Shenzhen Institutes of Advanced Technology, Китай
Anime4K, оболочка, включающая предыдущие два метода, свой метод и FSRCNNX The Chinese University of Hong Kong, Китай, разработчик из Канады
PaddleGAN — библиотека, включающая в себя много методов, разрабатывается в Китае
video2x — библиотека нескольких методов, разрабатывается китайцем из Торонто, поэтому гордо пишем Канада
BasicSR — библиотека нескольких методов, разрабатывается в Китае.