🎬 Про сжатие видео

Хочется рассказать про свой пет-проект, который вырос из желания автоматизации сжатия исходных видео гигантского размера для домашней медиатеки.

К примеру, режиссёрская версия Властелина колец (один фильм) весит 180+ Гб, что для домашнего архива как-то негуманно.

🧱 Итак, начнём с базы:

Картинки состоят из пикселей. Пиксель - точка определённого цвета. Видео - это быстро меняющиеся картинки, скорость смены может быть разной.

Весь медиаконтент, с которыми вы взаимодействуете каждый день на мониторах - сжат.

🗜 Сжатие - это уменьшение занимаемого объектом в памяти места. Сжатие бывает с потерями и без потерь (lossy и lossless).

Пример с потерями - сжатие фото в jpeg. Пример сжатия без потерь - архив с файлами, либо, например, экселевский .xlsx-файл (старые .xls файлы сжатия не имели).

Сжатие с потерями применяется преимущественно к информации, которую воспринимает человек. Основная цель сжатия с потерями - максимально лёгкий файл при отсутствии субъективных потерь - человек не должен их видеть или слышать.

🎞 Вроде с базой закончил, двигаемся дальше

Всё цифровое видео, которое вы смотрите на ютубчике, на разных стримингах и даже на Blu-ray - сжато, иначе бы каждый фильм или подкаст занимал сотни гигабайт, даже терабайты.

Существует множество алгоритмов сжатия (aka кодеков), старых и новых, современных и не очень. Именно психовизуальную модель субъективных потерь используют все современные кодеки вроде H.264, HEVC и AV1, выкидывая то "лишнее", что человек не увидит или не заметит

🤔 Но как измерять, реально ли человек не заметит потери?

Не посадить же людей сравнивать покадрово две версии видео, выставляя оценку каждому кадру? "Ммм...Этот кадр, как мне кажется, я бы оценил на 89 из 100, а предыдущий на 88...".

🍿 Этим вопросом задался и Netflix

Ведь при таком размере библиотеки им ещё и нужно:
1. Сделать несколько версий видео под каждое разрешение
2. Даже для максимального разрешения хранить сильно сжатую версию
3. Экономить деньги на жёстких дисках

💡VMAF - Video Multimethod Assessment Fusion

Это умная метрика оценки качества видео, придуманная Netflix, которая использует машинное обучение, чтобы предсказать субъективную реакцию человека. Вместо того чтобы заставлять тысячи людей отсматривать ролики, они собрали огромный датасет из оценок реальных зрителей и обучили на нём модель (не модные большие языковые модели, а классический ML).

Алгоритм покадрово сравнивает исходное и сжатое видео по куче параметров (потеря мелких деталей, шум, артефакты движения), а затем выдает балл от 0 до 100.

Оценка 100 означает, что сжатый файл абсолютно идентичен оригиналу. На практике же всё, что получает выше 95 баллов, человек воспринимает как идеальную картинку без потерь.

🛠 Их VMAF-либа позволяет автоматизировать поиск идеальных настроек кодирования. И спасибо нетфликсу за то, что эта библиотека доступна к использованию буквально всем, что и позволило вообще начать делать пет-проект