​Интересный алгоритм показал Facebook Research для сжатия видео и картинок – делюсь просто чтобы показать вектор куда могут двигаться алгоритмы сжатия вместе с машинным обучением.

Сжатие видео, да еще и так, чтобы качество не сильно пострадало – это очень сложная техническая задача в которой я почти ничего не понимаю, так что будем называть ее просто задачей со звездочкой.

Алгоритм DeepFovea делает примерно так:

– Нейронка анализирует видео на пример того, куда будет смотреть человек глазами на видео (sic!), то есть да, буквально, нейронка пытается угадать где будет человеческий фокус в видео в данный момент;

– Дальше алгоритм разбивает видео на наборы пикселей (в видео пример);

– Алгоритм синтезирует видео в котором места отведенные под «переферийное зрение» понижены в качестве.

– Как итог, судя по документу, размер видео можно сжать в 14 раз.

Дорогие инженеры, прекратите залезать нам в голову, с каждым годом все страшнее!

Страница проекта, код скоро будет:
https://research.fb.com/publications/deepfovea-neural-reconstruction-for-foveated-rendering-and-video-compression-using-learned-statistics-of-natural-videos/