"Pointcloud Occlusion Inpainting with Stable Diffusion"

Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.

Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.

Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.

Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.

Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.

https://twitter.com/cut_pow/status/1576748595109593088