в чем отличие от других алгоритмов - этот довольно простой. меньше затрат мощностей и времени, но и результат не такой красивый как в посте про нью йорк, выглядит как эффект наложенный на видео. алгоритм который использует ostagram.me например не просто накладывает эффект а именно перерисовывает картинку, как то стилизованно меняет расположение изначальных элементов изображения.
https://github.com/gordicaleksa/pytorch-neural-style-transfer
такая сеть отлично работает со статикой но когда надо обрабатывать видео, это занимает очень много времени и ресурсов и необходимы попутные алгоритмы чтобы изображение не дрыгалось каждый кадр, так как кадры обрабатываются отдельно.
огромный плюс такого алгоритма - возможность посмотреть практически реалтайм результат обработки. год назад я пробовал обрабатывать видео файлы и это занимало время - разделить файл на кадры, обработать много кадров, собрать из кучи кадров обратно видос - не быстро. смотреть на себя на вебке уже с эффектом - вот что я люблю)
в общем я попробовал выделить стиль из нескольких картинок и выше можно увидеть что получилось.
немного про ограничения:
на моей ртх 2080 при разрешении 1280х720 заметные потери кадров.
640х360 - работает идеально, но элементы стилизации великоваты для такой картинки.
решил остановиться на чем то среднем - 960х540. на выходе примерно 12 фпс, для мозга это выглядит как мультик, движение сглаживается встроенными в нас алгоритмами)
Post #75
260