Егор Cache it

OH, KURWA, RAKETA!!!

У нас в студии классные обновки - новенькая RTX 4090. Выжимает 1300 Octanebench
В целом за последние 2 месяца обновили, практически, все компы и по моим прикидкам сейчас можем выдавать +- 4500 бэнчмарка. Это, конечно, еще не ферма, но уже вкусно!

Ну, и пользуясь преимуществом блога - пишите свои сетапы и бенчмарки в комменты. Да и просто пишите, я большой любитель поговорить.

Более наглядно, почему Sora унижает Runway.
Да, все это text-to-video генерации.

Только ленивый не написал пост о новой text-to-video модели ИИ Sora от OpenAI. Я не ленивый, так что вот вам и мои мысли на этот счет.

Конечно, выглядит она очень круто, уже очень близко к продакшн качеству, если не всматриваться в детали. Прорыв за год, по сравнению с теми же Runway, колоссальный. Для меня, лично, очень интересно как выглядят стилизованные видео, рендеры и прочие генерации с закосом под CG. Выглядит оно неплохо, что по идее меня, как CG художника, должно пугать.

Лично я слабо верю в то, что мы очень скоро упремся в потолок вычислительных мощностей, так что думаю рано или поздно настанет день, когда придется идти на завод. Благо, по образованию я инженер электроэнергетик, так что если что побегу на курсы повышения квалификации и буду крутить провода.

Ну, а если серьезно, такие релизы уже поменяли отношение к рабочему рынку. Так, Chat GPT смог поменять рынок разработчиков, потому что способен выдавать код и решать задачи на уровне джунов, что повышает требования к кандидатам на работу. Думаю что нас ждет приблизительно то же самое. Убьет ли это в ближайшее время CG индустрию? Думаю, что нет. Придется ли нам адаптироваться и тратить больше времени на новые изучение новых инструментов - однозначно.

Денис Харитонов в одном CG чатике высказал интересную мысль. Как в кино сейчас есть тренд на «фильмы без CG», так и здесь, маятник может качнуться в обратную сторону и мы получим контент для ценителей, сделанный без ИИ.

А вообще модель выглядит интересно, мне кажется в связке с недавними анонсами от TikTok можно будет пытаться выдавать крутые результаты. Одна ИИ выдает вам видео\кадры, вторая ИИ помогает сделать анимацию более контролируемой и предсказуемой.

В крутое время живем. На последок - крутое видео про развитие ИИ в целом и то, что происходит в креативной индустрии прям сейчас. Четко и по делу.

Стилизация

Снимаю шляпу перед всеми людьми, занимающимися стилизованными рендерами.
Когда смотрел интервью с CG супервайзером спайдерверса, он рассказывал как они писали кастомные шейдеры и прочее. Я всегда думал «хуле вы там пишите? Есть рендер движок, на нем же все реализуемо»
Теперь понимаю, что стилизация на рендере это и есть: взять исходные геометрию и свето-тень сцены и преобразовать их под свои нужды. Эти нужды не всегда покрываются движком, как до недавнего времени, например, никак не покрывались шифтом. Да и его возможности в стилизацию, по сравнению с тем же Eevee, вызывают смех. Но где один шажок для РШ, там огромный шаг для всех Maxon юзеров.

До кастомных шейдеров пока не дошел, но, такими темпами, кто знает куда заведет эта дорожка

3 | 3

Стилизация

Каким же было мое удивление, когда для рендера на коллабе Tupo Kruto, я открыл для себя RS Matcap.

Насколько я знаю, эта нода появилась не так давно. В чем ее суть: вы кормите шифту маткап изображение (пример приложу к посту), и его подаете в ноду. Дальше она распределяет по геометрии свето-теневой рисунок таким образом, как это задано на поданной 2D карте. То есть, это, практически, карта нормалей, но она никак не взаимодействует со светом в сцене, а распределяет по геометрии свето-тень исходя из карты поданной в ноду.

Узнал не сам, более ясно и подробно разжевывает Eye Design в этом туторе.

Почему это круто - маткап открывает огромное количество возможностей для кастомных штук на визуализации: акварельные рендеры, Cell-shading, кастомные 2D рисунки в нужных плоскостях и прочее. Пример: я сделал маску и по этой маске в тени подал карту с точками. Получается эффект как в спайдерверсе: 3д графика с 2д текстурами в тенях. Тут все зависит от того, что вы придумаете.

2 | 3

Давненько ничего не писал - исправляюсь.

Стилизация.

Давно манит тема стилизованных рендеров. Насмотревшись в инстаграме на красивые картинки из Blender Eevee тоже хотелось сделать что-то мультяшно-акварельное.

У себя в инстаграм я как-то публиковал ролик с попыткой сделать Clay рендер, но это все равно было не то: все рендерил классикой в шифте, просто поиграл с дисплейсерами, X-Presso и частотой кадров.

Да, я знаю что есть Sketch and toon, но его рендеры тоже больше походят на 2D векторные иллюстрации. Душа просит другого, более рисованного подхода.

1 | 3

#типсы

Не смогу найти последние итерации того, как это выглядело, потому что проект уже лежит в архиве. Но вот какие-то промежуточные файлы для понимания того, как это выглядело в процессе производства.

Делали мы вот такой ролик для Рен ТВ. Все пошло не по плану в тот момент, когда на построде мы поняли, что нашего герой сняли по пояс, а по режиссерской задумке у него был общий план. Получилось так, что на первых итерациях ролика главный герой стоял на коленках перед градирнями ТЭЦ. Нам и клиенту такой вид не нравился, однако закатить новый съемочный день ради одного актера не могли - дорого.

Каким по итогу было решение:
В начале мы кадрировали главного героя композиционно так, как он должен будет стоять в финальном ролике. Затем с помощью Generative Fill мы в фотошопе генерировали промежуточные кадры его ног, примерно каждый 10й кадр из общей секвенции.
После этого скормили секвенцию промежуточных кадров нейронке Flowframes. Эта тулза дорисовывает промежуточные кадры, на основе предыдущих и следующих кадров, с помощью ИИ, тем самым можно увеличивать FPS роликов. Так вот мы кормили ей сиквенцию, которой увеличивали FPS в десятки раз, а затем на композе делали таймстретч обратно к нужному. Получалась странная, плавная колбаса кадров, но в которой были ноги и они двигались! Затем много работы руками и масками и вот у нас есть такой ролик.

Подход не идеальный, если внимательно смотреть на ноги, то баги видно. Нам повезло, потому что часть главного героя перекрывает графен, что-то мы отполировали виньетками и другими эффектами на композе.
Самое главное получилось - вместо одного съемочного дня с вызовом актера, съемочной команды, отрыва клиента и прочего, мы получили приемлемый результат, силами полутора людей и дня работы.

За последнюю пару недель много общался с парнями, которые занимаются стилизацией с помощью нейросетей.

Хотел уже показать их работы, но нельзя из-за НДА. Издержки работы в рекламе. В итоге, решили что, когда это станет возможно, соберем материалы на эту тему и покажем вам, что делается с помощью ИИ в продакшн уже сегодня.

По отношению к нейросетям, за опыт работы с ними у меня сложилось такое мнение: не верю, что в ближайшем будущем дизайнеров заменят. Однако, это отличный инструмент для стилизации, когда этого требует задача или оптимизации рабочих рутинных процессов. Любая нейронка требует тонны работы руками и понимания того, какой инструмент и как именно может помочь.

Сегодня-завтра сделаю пост о том, как мы в продакшене применяли нейронку для нестандартной задачи, которой изначально не было в продакшн плане. Это за вычетом генеративных сетей, в работе концептеров на этапе предпродакшена.

А это концепты, которые я передавал ребятам для дальнейшей работы.