Pixel Science

Ben Mildenhall, создатель NeRF-ов, объявил о своем новом стартапе World Labs, который кафаундит вместе с Fei-Fei Li (профессорка Стенфорда, ex-VP Google, "godmother of AI") и с Christoph Lassner. Все три с PhD 😊

Фандинг 230$ млн 🤯🤯🤯

И они хайрят! Им нужны графические инженеры, ресерчеры, опыт VFX и геймдева лишь только поощряется. Пишут о бенефитах в размере 150к-250к, что ожидаемо на таком уровне стартапов (имею ввиду кэш). Наверняка можно и об удаленке договорится

Как я предполагаю их цель занять нишу Gen3D, как Tencent, пока все генерят картинки и видео. Но эти крутые ребята понимают, что для такого нужно нормальное представление сцены, с (нейронным) рендером и pbr уравнениями, интерактивное и контролируемые

В последней же статье от Бена ребята адаптировали идею отражений по microfacet models в NeRF, для понимания уровня развития этого направления (см. картинку)

Мой опыт общения с ним на Eurographics 23 исключительно положительный, так что рекомендую к ним постучаться! 😊

#индустрия

Еврографикс 2025 продлил дедлайн из-за Рош ха-Шана (праздник Новолетия, еврейский Новый год)

не ну вообще-то в Германии тоже в четверг официальный праздник какбы с объединением страны....

Но ладно, с учетом вчерашних событий ученым из Израиля и правда надо дать еще время... 🙏

В Unreal Engine 5 анонсировали MegaLights c поддержкой тысяч динамических источников света с полноценным затенением!

Поддержка "всех" источников света:
- Spot Light
- Area Lights (c текстурами)
- Point Lights и другие аналитические модели
и вольюметрик эффектов!

По демо пока не очень понятно как они смогли этого добиться на обычном PS5 в 60 фпс. Brian Karis также не раскрыл никаких интересных деталей.

Я лишь смог заметить стандартные темпоральные лаги, присущие вычислению освещения методом Monte Carlo и последующим его денойзингом... Также демка была взята с довольно "скучной" сценой, без микро-геометрии, на которых соответственно и интереснее всего проверять точность теней. хотя скорее всего компрессия ютуба всё подпортила

Понятно, что с высокой вероятностью это какая-то версия ReSTIR-а, но буду рад ошибиться! Ждём докладов :)

Update: подписчик, следящий за репой, добавляет что ранние версии стоили ~4-7ms с 256 лайтами на PS5/2080TI в 1080p -> приходилось использовать в 1/4 экрана. мб ускорили

#графон

Дайджест за неделю 23.09

решил попробовать в такой формат новостей, так что если считаете полезным лайкайте и кидайте в чатики!

Графон:
- Falcor обновился до 8.0. Завезли полноценную оптимизацию геометрии и поддержку Mitsuba 3 сцен из мира оффлайн рендера
- Device Generated Commands in Vulkan. Более генеральный platform-agnostic extension в противовес D3D12 ExecuteIndirect

Статейки:
- Диффузки для семплирования BSDF в реальном времени на 4090. Новая SOTA с поддержкой pdf estimation для MIS!
- Albedo + Diffuse Lighting + Specular Lighting Decomposition in the Wild! Восхитительные результаты
- Text(Image)->3D c PBR материалами за 5 секунд. Диффузия над компактными кубиками, описывающие локальный SDF и его материалы

ИИ:
- Эксперименты над Runway Gen-3 Alpha для симуляции освещения поверхности от искусственного источника света (1, 2, 3)

Индустрия:
- Анонс бюджетного Oculus 3S с Hyperscape на основе Gaussian Splatting
- Ubisoft начинает внутреннее расследование из-за финансовых неудач

#дайджест

Meta ставят на "Hyperscape" (radiance fields) с анонсом нового бюджетного VR Quest 3s

Про сами очки я думаю вы можете прочитать от любого другого техно-блогера, но TLTR: 300$ за "полноценный" VR-функционал -> больший маркет

Что же я нашел интересного для нашей сферы, так это анонс нового проекта Hyperscale (демка), позволяющего отсканировать с помощью телефона какое-то помещение, загрузить его в Мета-Вселенную и где далее любой желающий может в нём походить с помощью VR

По сути выглядит на 99% как то, что делали ранее в Luma Labs, но возможно новый user experience через VR продемонстрирует успешность технологии

Работает всё через Gaussian Splatting, но так или иначе изначально оптимизируется через inverse volumetric rendering!

#индустрия

Тут в X многие в шоке от домашек нового курса Stanford-а, CS149 Parallel Computing. Я как ведущий похожего курса, но в KIT, тоже немного в ахуе:

1️⃣ ISPC Programming on multi-core CPUs (SSE, AVX)
2️⃣ Scheduling a task graph. Как я понимаю речь идёт о lock-free С++-based алгоритмах
3️⃣ A render in CUDA on Nvidia GPU
4️⃣ Flash-attention transformer for a "small LM". Радикальнее сложнее воспроизведения того же tiny-cuda-nn и требует знаний L1, Bank Conflicts, Tensor Cores.
5️⃣ TBD, FPGAs, Multi-core graph processing. Опционально

Понятно, что скорее всего студентам даны шаблоны, но как отметил Ethan Smith, ко-фаундер Leonardo.Ai ~40m. $ raised:

if you are implementing flash attention for a grade and you'd rather be doing it for money, come join our team :)
dms open

(они нанимают на удаленку)

и я 100% с ним согласен

поэтому считаю это прекрасным напоминанием, что знания GPGPU в 2024 имеют неадекватно высокую цену и рекомендую всем этим воспользоваться 😉

UPD: задания с лекциями

#карьера

Автор оригинального 3D Gaussian Splats переписал гауссианы на Slang.D

Считаю, что это прекрасный случай чтобы напомнить о современном шейдерном языке Slang, который все еще нет так популярен среди инженеров в графике и CV, хотя он:

1️⃣ Поддерживает генерацию кода для D3D12, Vulkan, Metal, D3D11, OpenGL, CUDA, and CPU. Т.е hlsl, glsl, DXIL, SPIR-V - не проблема

2️⃣ Приносит фичи из современных я.п. по типу наследования, "шаблоны", указатели, которые все еще не доступны в hlsl\glsl

3️⃣ Auto-Differentiation с возможностью реализовать кастомные backward блоки и соединить с тем же PyTorch. Ребята даже публиковали статью на Сиграффе об этом и как с помощью него сделать дифференциальный рендер. И оно работает, сам проверял!

Да, он не идеален, т.к. не поддерживает ряд фич (те же тензорные ядра) но можно делать platform-dependent кодовые-вставки. также все еще есть баги и компиляция шейдеров может быть не самой быстрой... Но рекомендую обратить внимание для pet-проектов, да и просто на долгосрок

#графон

0.0032$/720p frame

А за сколько вы продаете отрендеренные пиксели? 😁

Luma Labs опубликовало доступ к Dream Machine через миниатюрный API

#ии

ИИ-Игровой движок от Tencent
[сайт]

Вдогонку к ИИ-Doom от Google (писал ранее), китайцы решили максимально быстро заявить о своей работе, опубликовав сайт с результатами и кратким описанием итоговой модели без статьи

Проведена колоссальная работа над датасетом OGameData, состоящего из 15 тыс. видео взятых из "next-gen open-world games" (Cyberpunk, Witcher 3 😅 и т.д.). А также аннотации их, т.е. генерации Prompts для обучения, с помощью LLMок и сеток предсказывающие camera movement, motion vectors, edges, key points

Многие эти данные можно было бы достать напрямую из игр, но авторы взяли видосы из интернета, благодаря чему ушли от проблемы обучения RL как у Гугла. Но те же примеры Motion Score + Camera Motion очень смущают...

Далее авторы обучили GameGen-O + InstructNet, основанные на foundation диффузной модели, для генерации "игры" по тексту и управлению ею соответственно

Пока сложно сказать, насколько это эффективно работает. Ждём больше данных + длинного видео. Но прогресс впечатляет!

#ии #статья

Profs. David Lindell, Kyros Kutulakos и Kosta Derpanis ищут PhD студентов и ПостДоков для работы в коллаборации с Ubisoft по направлениям:

- нейронный рендер
- text -> 3D/4D. генеративные модели
- реконструкция сцен
- дифференциальный рендер

податься можно здесь

Коллаборация с индустрией - это очень крутая штука, в том числе из-за адекватного финансирования

Это университеты Торонто, Канада, что я считаю прекрасной возможностью в 2024ом году. Если вы все сделаете правильно, то сможете податься на ПМЖ и получить ещё и паспорт к концу PhD!

#карьера

Все обсуждают PS5 Pro, которую вчера анонсировали

Я все еще жду полноценной официальной информации, т.к. ничего кроме абстрактных чисел нам не дали:

... has 67% more Compute Units than the current PS5 console and 28% faster memory...

1️⃣ кажется что по TFLOPS консоль находится где-то между 4060 и 4060ti, что конечно не поражает воображение, учитывая что последние стоят 250-400 евро против 800 за PS5 Pro (но конечно нужен еще CPU, материнка, SSD и т.д.)

2️⃣ скорее всего будут Tensor Cores из-за анонса их версии DLSS (см видео)

3️⃣ также ускорили трассировку лучей

Буду очень рад 2му пункту, т.к. позволит применить множество нового ресерча и на консольном рынке 😊

Но, в общем, 0ые впечатления т.к. Sony продемонстрировали, что они тупо пытаются догнать Nvidia вместе с AMD. Последние кстати на днях анонсировали UDNA, пойдя также за Nvidia

С другой стороны удобно, что все развивается таким образом, т.к. можно продолжать делать ресерч, полагаясь на железо и видение Нвидиа в долгосрок 👍

#индустрия

Зная, что на меня подписано немного студентов, думаю вам будет интересно почитать коротенький тред, как должен выглядеть диплом и взаимоотношения с научником в 2024. Со стороны дипломов по компьютерной графике в том числе

с примером плана одного из последних, который сейчас выводим на публикацию 😊

Diffusion Models Are Real-Time Game Engines [сайт]

Диффузку научили предсказывать новый кадр на основе прошлых + conditioned on actions на примере DOOM в 50 FPS. получилась ИИ-игра

Авторы исследовали а-ля "DLSS Frame Generation", но с подачей нажатых клавиш, Fig. 10

Из интересного:
1️⃣ Число сохраненных прошлых кадров на самом деле не сильно улучшает метрики. Хватает всего 2-4, Table 1

2️⃣ Перформанс упирается в число итераций денойзинга. 10 ms/step. Обычно нам требуется 20-100 шагов (DDIM). Но из-за когерентности кадров хватает всего 4 шагов => 40 ms, Table 3

В чём же крутость работы?

1️⃣ Устаревшая SD 1.4 может симулировать простую но динамическую игру. Но для этого нужен датасет

2️⃣ Диффузки уже ускоряли на порядки (Imagine Flash, SDXL) и они работают в real-time на RTX. Т.к. они лучше проецируются на ГПУ, нежели чем игровые-движки, с FPS еще можно сделать многое

Главный вопрос:
Можно ли будет диффузки использовать как DLSS 5.0 (или даже как рендер), открыв доступ к логическому состоянию игры?
#ии

В Doom 2 завезли паф трейсинг с тенями, объемным рендером, отражениями и рефракцией. Выглядит, имхо, очень сочно 🔥

Также там теперь есть поддержка:
- DLSS 3 с генерацией кадров, а также конкурентного решения от АМД
- симуляция жидкостей
- поддержка HDR мониторов
- карты высот


Насладиться видосиком можно здесь


Хочется лишь добавить, что такие игры - это прекрасное окружение для тестирования алгоритмов рендера в динамике. К примеру, одну из последних статей, Markov Chain Mixture Models for Real-Time Direct Illumination, мои коллеги разрабатывали как раз в старом Quake с RTX 😁

#графон