Pixel Science

https://youtu.be/H0WxJ7caZQU
смотрим

пока Марк с Хуангом лялякуют про генеральные вещи

эх, я бы мог бы быть там, но 6ой ревьюер посчитал иначе...

Обожаю такой формат презентации статьи, где достаточно потребить информацию с сайта и всё станет понятно


Авторы обнаружили, что за camera-to-world projection матрицу, в некой степени, отвечает часть эмбеддинг спейса текстового промпт-а в text-2-image диффузных моделях

Ребята обучали небольшую нейронку предсказывать этот вектор, в зависимости от подаваемой матрицы, и генерировать novel views диффузкой с нужного нам ракурса

Работает не всегда идеально, можно пронаблюдать что структура сцены с разных углов немного, но всё же меняется. Но бьёт оригинальный нёрф в сухую и все SOTA nerf решения по LPIPS (персепшен метрика)

Главный философский вывод, так же подтверждаемый в некой степени иными работами: внутри диффузок наверняка есть "консистентное" 3Д представление сцены и мы наверняка сможем научиться его качественно визуализировать\"взаимодействовать" с ним
Т.е. сделать рендер-физ-движок 😁

как и ожидал ничего интересного про DLSS не было раскрыто. "I can't comment on that"

лишь прикольные сравнения с классическими денойзерами, но без failure cases. из полезного напомнили про важность потвикать ReSTIR (корреляция) и использование какого-нибудь Radiance Cache

сжал для вас ReSTIR демку :) уж больно хороша

High Performance Graphics 2024 начнется уже через 1.5 часа. Онлайн трансляция и расписание

Напоминаю, что это конференция о прикладном ресерче алгоритмов реал тайм рендера. В этот раз проходит в Денвере

В программе рейтрейсинг, денойзинг, DLSS, work graphs, воксели, Vulkan, restir, mesh шейдера и многое другое


Рекомендую заценить работу моих коллег (в 21:50 по CEST), где они пытаются ответить на вопрос: На каком же отскоке нужно использовать Radiance Cache и как адаптивно принимать это решение, таргетируясь на требуемый уровень шума\MSE

Также в 19 вечера Edward Liu, автор оригинального DLSS, поведает нам технические подробности DLSS 3.5.
Оочень любопытно насколько подробно он это сделает! или же все интересности всё ещё под NDA

Другие мои коллеги расскажут как адаптировали ReSTIR для real-time subsurface scattering-а (рекомендую посмотреть видео, 180 МБ)

А также Peter Shirley (Activision) планирует рассказать о будущем реалистичного рендера в ночь с субботы по воскресенье

Даже с генерацией фреймов геймдев студии релизят игры в 30 fps. твиттер

классика, ни разу не сомневался что так и будет 😁

даже если завтра:
- сделают DLSS, предсказывающий 9 кадров из 10
- выкатят крутой path-guiding с path resampling-ом, радикально снижающий шумы
- обнаружат что можно честно считать освещение лишь для 1% пикселей а все другое - гнать через radiance кэш

все равно все эти освободившиеся мощности будут направлены на поддержку более сложных сцен с тяжелым освещением и в уменьшение костов на разработку. а 30 и 60 фпс с нами на очень долго 🫡

P.s. киноиндустрия через это всё проходила и ни раз

Коллеги по цеху (кажется это Nvidia) проделали громоздкую работу и попытались выяснить как же лучше рендерить сферические гауссианы рейтрейсингом

Вопросов же много:
1. Какими мешами надо описывать гауссианы для BVH чтобы RTX давал лучший FPS? Ответ: вытянутый icosahedron с клампнингом границ по минимальному респонсу гауссиан

2. Как быстрее их трассировать с учетом alpha-bleding-а? Ответ:
Ищем пересечение с K гауссианами с помощью any-hit -> сортируем по глубине -> считаем редианс (и трансмиттенс) -> переходим к следующим K частиц пока они не закончатся\transmittance > eps

3. Что больше влияет на перформанс? Ответ: число hit-ов, а не число частиц. Поэтому авторы попробовали использовать не стандартные, а генерализированные гауссианы (там в степень N возводится расстояние до центра частицы) + 2D splats. Удалось увеличить перформанс. Использовали дифф. рендер чтобы получить новые параметры.

Все эти ответы обоснованы экспериментами. По FPS все равно проигрыш 2-3х раза растеризации. пока. По VRAM же наоборот

Онлайн-программа для начинающих графических инженеров от Chaos

Волна на 2024ый год уже прошла, но возможно на следующую весну-лето кто-то хочет запланировать себе доп обучение.

можно подаваться всем кто старше 18 лет и находится в Болгарии, Чехии, Дании и Германии (хз как валидируют локацию). Местоположение обосновано исключительно тем, что они нанимают лучших студентов на джуниор позиции к себе в штат.

хэдквартерс у них вообще в моём городе, Карлсруэ, - только сегодня узнал об этом от своего дипломника, который проходит этот самый курс. фидбек исключительно положительный, только говорит что как-то легко 😅

Шок. Гауссианы выебали JPEG по скорости декодирования изображения при низком битрейте. Аж под 1000-2000 FPS.😱😱😱

В сухую обогнали все SOTA нейронные методы по PSNR/Decoding time, на основе multi-level hash-encodings, SIREN и прочего.

пока лишь проблема это время кодирования изображения + отсутствие по-пиксельного random access-а. было бы полезненько для текстур конечно.

Проект + код

👍👍👍

я бы лишь подметил, что за предсказанием "AGI за 5 лет" стоит некая научная доказательная база, но не ясно насколько она отображает именно глобальный, а не локальный тренд успешности скалирования AR-LLM

с CGI никакие исследования не утверждали, что с добавлением "линейно" компьюта и памяти, наши рендеры будут сами по себе становится реалистичнее

когда авторы ресёрча не опубликовали никакой код, никаких открытых данных, и приходится воспроизводить их работу, валидируя свою имплементацию "на глаз" с помощью картинок котиков из оригинальной статьи 😁