Pixel Science

Подготавливаю тут репорт по Intel проекту, что да как у нас прошло и чем обоснованы некоторые принятые решения


и набрёлся на очень годный доклад от эпиков по их системе многослойных материалов, высочайшего качества! демка

решил поглядеть кто же стоит за их новой системой материалов и увидел знакомое имя: Sebastien Hillaire. Для понимаю это человек, стоящий за:
- PBRом по сути всей индустрии, ведь все побежали его копировать из Frostbite
- первым PBR volumetric render-ом, Frostbite
- первыми примерами продакшен-реди RTX-based GI, Frostbite
- одной из первых качественных реализаций рендера атмосфера и облачков (еще до Guerrilla Games c horizon zero dawn), а также за новой SOTA которую он предложил в рамках работы уже у Epic Games


прям очередной пример что 10х и 100х программисты/ресёрчеры существуют

очень хочется с ним на каком-то сиграффе познакомиться, т.к. я даже не мог себе представить что всего 1 человек так сильно мог изменить нашу индустрию, и всё еще продолжает это делать 😊

Прослушал интервью с СЕО Simulon.

ребята конечно поразили своими VFX вставками в обычные видео, с супер реалистичной CGI графикой. заявляют что всё работает автоматический 🤨

И что меня поразило вдвойне: СЕО утверждает, что тут скорее не МЛ порешал (который тоже они использует, но для восстановления ряда параметров сцен), а PBR и Inverse Rendering.

Очень приятно, что постепенно народ начинает осознать важность этих направлений ☺️☺️☺️



P.s. какой спекуляр, какие тени от листьев!! бомба 😋

Сейчас идёт Еврографикс 2024, на котором очень много клевых статей, в том числе для реал-тайм рендера. Рендер атмосферы, подводных миров, компрессия текстур Надеюсь найду в конце следующей недели время на полный разбор основных папир!

Под нейронную реал-тайм графику аж выделили отдельный трек, и это очень хороший зеленый сигнал. А мы в своё время продолжаем пилить фреймворк, который бы мог еще сильнее развить это направление 😉

https://youtu.be/NudQHBrkqhY?si=vHqB8e_K0x27F2tx
4D Gaussian Splats

И прекрасно и крипово

https://fxtwitter.com/_akhaliq/status/1781181414186103140?t=7QqS0WJ6WH23hmHaOctYtg&s=19

Генерация готовых мешей по нескольким фото с разных сторон/тексту всего за секунду. Примеры есть на сайте, ждём кода с весами чтоб самим попробовать)

https://fxtwitter.com/i/status/1780979464706343062
даже проверили на мобилке через Юнити. пример с кодом также обещают выкатить, но с виду оч. легко повторить)

Добились высокого перформанса, даже обойдя nvDiffRast по производительности, ценою ограничений:
- не работает с трассировкой путей, вторичными градиентами (тени, отражения)
- многократное рассеивание света для PBRного объемного рендера тоже минус
- обучение нейронок внутри рендера также отваливается

но всё равно оч круто для практического использования

Transforming a Non-Differentiable Rasterizer into a Differentiable One with Stochastic Gradient Estimation


Ребята из Интела предложили оригинальную комбинацию Stochastic Gradient Descent с инженерным подходом к определению того, какие конкретно параметры сцены реально влияют на значение каждого пикселя, для оценки градиентов

Таким образом можно легко сделать большинство рендер-движков дифференцируемыми, что они и показали на примере Unity

как же меня порой удивляют студенты, и это бакалавр. сам поднял множество тех вопросов, которые обычно задают на собесах граф. прогерам 😊

надо ловить таких и сразу брать чтоб с со статьями помогали))))

p.s да тут будет изредка немного около преподавания самого Computer Graphics

Жертвы по скорости рендера и в правду адекватные, если забыть про Reuse Packing. Имхо и его имплементация радикально сложнее из-за префикс сама, и экономия по памяти копеешная, и перф снижает сильно (в особенности на видеокартах зелёных 😁. ну может поленились норм имплементировать/нет нужных инструкций)

К сожалению, авторы не прикладывают сравнения с конкурентными работами и лишь демонстрируют насколько каждая из оптимизаций влияет на время рендера/изначальный объем мешей

Но на то это и JCGT, а не сиграфф/еврографикс. Там требования по научности радикально выше

Вышла интересная статья на основе Generalized Triangle Strip для реал тайм декомпрессии meshlet-ов. Много логичных инженерных оптимизаций и стоящими за ними меш-шейдеров с активным использованием бинарных wave instructions.

В реальности ребята добиваются 3-4х компрессии. И в отличие от конкурентных работ типа Nanite в UE5, они генерят итоговые треугольники на лету без кэширования в глобальную память.

проблему инженерную с megakernel имхо можно разрешить и мы сейчас похожим занимаемся... но вот с обучением нестабильным, как у меня так и у моих коллег а также одного дипломника которого я ввёл, пока ничего не получилось из "простого" и красивого

пишите если будут идеи 👌

Также была (да и всё еще частично есть) проблема в том, что эти нейронки надо вызывать в отдельном кернеле, что убивало идею эффективного megakernel паф трейсинга.

Но так или иначе схема рабочая, как показывают авторы этой статьи, но только если мы в оффлайне и можем позволить себе медленную сходимость и wavefront path-tracing (не megakernel, почему он медленный). Но точно не стабильную из-за шумов, и жаль, что эту проблему они не разрешили.

Проблема - шумы и то, что гауссианы это unordered set. Какая-то MLP из-за spectral bias будет неплохо предсказывать эти гауссианы, если поставить очень низкий learning rate... А если же мы хотим быстрой сходимости, подключив там instant-ngp (high-frequency learnable encodings/embeddings) и обойдя тем самым spectral bias, то у нас всё ломалось 😔😔😔.

Гауссианы разъезжались в край и ничего не сходилось(((

На самом деле я уже 2,5 года назад попробовал реализовать такую же тему вместе с коллегами из МГУ, но сразу в рамках реал-тайм паф гайдинга для Falcor. Что меня и привело далее к стажировке в Intel (не реализовалась из-за ожидания визы) и PhD в KIT. Полезно порой кодить "простые" гипотезы 😊

Мы сделали всё то же самое, только с изотропными гауссианами, но уже в реал-тайм.

Одна из главных фишек заключается в том, что они полагаются на анизотропные гауссианы (могут быть вытянутыми), что позволяет лучше аппроксимировать падающий поток света довольно эффективно и понять, куда же нам следующий лучик кидать.