Самый мой любимый фильм из категории мафиозных это «Ирландец» 2019 года, с Робертом де Ниро, Джо Пеши и Аль Пачино в главных ролях.
Посмотрев его первый раз, я отметил как интересно сделали грим, чтобы сильно омолодить актеров, ведь было им на момент съемок в районе 75 лет, выглядели при этом они во многих сценах на разный возрастной период. Я посмотрел этот фильм с момента выхода 5 раз и на днях я вновь его открыл, подумал опять про грим, но вдруг осознал - О, едва ли это грим! 😳
Сразу поставил фильм на паузу, побежал на гугл и не зря. Оказывается в этом фильме через VFX омолаживали актеров, где применяли сложную технологию многокамерной съемки, ассеты архивных съемок этих актеров в роли референсов, 3D графику, около сотни поз мимики и все это без мокапа лица в привычном нам виде, потому что Скорсезе сказал перед съемкой: "Никаких шлемов с камерой! Мне нужна реальная съемка, но молодых версий актеров. Нужна атмосфера для импровизации актерам!"
Далее... Ух вы даже не представляете что там было далее.
Я скажу так - мне потребовалась неделя копания материала на официальных источниках с обращениями к chatgpt, чтобы наконец понять, как они это сделали. Итак, сейчас я вам все расскажу, если ничего не перепутаю, хаха. Приготовьте попкорн, вам понравится!
Все начиналось еще задолго до съемок. Фильм вышел в прокат в 2019 году, а подготовка началась в 2015.
😀 Команда искала все архивные материалы молодых Де Ниро, Пеши и Пачино в кинематографе, чтобы были релевантные референсы их лицевого поведения и мимики. Важно было найти такие же ракурсы какие планировались в фильме Ирландец.
😀 Далее была создана библиотека деформаций - для ее создания использовали систему, называемая Medusa, где все 3 актера по очереди садились в многокамерный риг, где каждый показывал сотню поз мимики и эмоций, чтобы затем система получила высокоточные 3D сканы лиц без маркеров с точнейшим положением носа, губ, кожи, глаз и т.д используемые для изменения 3D базовой головы вместе с архивными референсными материалами.
😀 Затем начали скульптить на основе точных сканов в 3D головы Де Ниро, Пеши, Пачино с лицами их современного вида (+-75 лет). После этого они начали перескульптивать эти же лица в молодом виде, но уже вручную. А я отмечу, что у Де Ниро и Пеши было несколько возрастных диапазонов в фильме, соответственно это должно было быть несколько 3D моделей головы с разной степени отпечатка возраста.
😀 Следующий шаг - съемка фильма. На фотографии показан сложный трехкамерный риг, который позволял снимать с разным углом. Была всегда центральная камера, которая снимала реальный материал для монтажа, а две боковые снимали технический материал для VFX через инфракрасный равномерный свет (чтобы художественный свет не мешал считывать изменения формы и фактуры лица). Их было две, чтобы видеть лицо с разных сторон и по этим двум дополнительным ракурсам точнее восстанавливать положение и деформацию головы в 3D.
😀 После того, как был отснят материал, были подготовлены все 3D лица для актеров, библиотека деформаций - началась магия ✨
😄 Студия ILM (Industrial Light & Magic), которая и занималась все разработкой CG, создала перед съемкой фильма программу, которая называлась FLUX и эта программа имея съемочные материалы со всех трех камер вместе с данными о положении камер, геометрии сцены, освещении актеров сначала сравнивала сетку 3D лица проецируя её в ракурс камер, и находя разницу формы и положения губ, щек, век, подбородка и других частей лица подгоняла покадрово сетку на 3D лице используя библиотеку деформаций мимики, пока цифровое лицо не начинало повторять настоящее.
😄 То есть камеры имея тонну материала с 3 сторон, две из которых давали резко читаемое, равномерно освещённое инфракрасное изображение лица, гораздо меньше зависящее от художественного света и глубоких теней основной камеры давали возможность программе FLUX имея библиотеку поз мимики актеров подстраивать цифровые копии лиц покадрово под исходные лица автоматически. Так же местами cg артисты вручную изменяли цифровые параметры рига\шейпов во FLUX и система рассчитывала вершины на сетке автоматически по ним, чтобы мимика в моментах выглядела более похожей.
😄😃😃😃😃😃😃😃
Если кратко подытожить, то до съёмок ILM создала для каждого актёра точную 3D голову в его реальном возрасте, из неё - молодые возрастные версии, а Medusa сканы мимики превратила в набор деформаций и лицевой риг, который управлял этой геометрией. Во время обработки во FLUX по материалу основной и двух witness камер покадрово вычисляла, какие деформации и с какой силой нужно применить к современной 3D голове, при необходимости добавляя локальные смещения вершин вручную. Полученную таким образом реальную мимику актёра затем ретаргетили на молодую 3D голову, рендерили и композили обратно в кадр.
Еще интересно было то, что Скорсезе сам не верил, что этот прием сработает, пока не увидел результат. Придумал и продумал эту идею супервайзер ILM Пабло Хелман, прикиньте умы какие! Он предложил сделать полноценный RND тест этой разработки, на создание которого ушло от 2 до 2,5 месяцев и когда результат показали Скорсезе и Де Ниро - всем понравилось и подход пошел в продакшен. Кстати, ни Скорсезе, ни Де Ниро не видели промежуточных WIPов RND, им намеренно ничего не показывали, только результат 💪
Вот кстати короткое видео на BBC, где Пабло рассказывает обо всем этом.
Кто смотрел фильм, поделитесь эмоциями от него или если что-то не понятно, задайте вопросы. А кто не смотрел - бегом смотреть!
@supervcg #case #VFX #CG #ILM