Сегодня разберем одну из самых наверное неисследованных тем в оценке ИИ - это тема оценки генерации видео. По данной теме очень мало материалов, а большинство оценок сводится к субьективной оценки человеческого восприятия, что несомненно важно, но я подготовил список базовых метрик, которые также можно использовать для оценки.

Важно понимать, что видео намного сложнее картинок, потому что здесь важны не только пиксели, но и движение, согласованность объектов и логические действия. Поэтому и метрики здесь более разнообразные.

Вот ключевые подходы, которые сейчас используются:
1. PSNR
Сравнивает сгенерированные кадры с эталонным видео по ошибке пикселей. Подходит только в том случае, если есть референсное или эталонное видео.

2. SSIM
Оценивает яркость, контраст, локальную структуру. Метрика фокусируется на зрительном восприятии, но работает также как и PSNR в формате кадр-за-кадром и не учитывает движение.

3. VMAF
Включает в себя комбинацию ML-фич + сигналов, откалиброванных под человеческое восприятие и сравнивает сгенерированное видео с эталоном.

4. VBench
Первый большой бенчмарк для видео-генерации. Оценивает сразу много аспектов, такие как плавность движения, согласованность объекта / стабильность объекта во времени, временное мерцание (артефакты, возникающие между кадрами), пространственные взаимосвязи (корректное размещение объектов в сцене) и другие параметры, которых не видно в классических метриках.

5. FVD / FVMD
Метрика, разработанная специально для генеративного видео. Смотрит не на отдельные кадры, а на движение в целом, насколько оно реалистичное, непрерывное, без рывков. Считается одной из ключевых для современных video diffusion моделей.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)