TGViewer
Channel Public Channel
Pixel Science

Pixel Science

@pixels_science

пишем о ресёрчах по Комьютерной Графике, нейронному Рендеру и ИИ

и про их влияния на индустрию конечно же, с инсайдами из личного ресёрча и карьеры

автор: @Mishok43, mishok43.com, PhD студент в IVD KIT, ex Eagle Dynamics
Open in Telegram
Subscribers
478
Photos
136
Videos
53
Links
106

Showing posts older than #135 · Back to latest

Older Posts 11 shown
Post #134 554
Pixel Science Наконец-таки полноценно заработал "рендер-мутант", который я закодил вместе со своим дипломником! Решение основано на Falcor, поддерживает все его материалы и фишки, но позволяющее исполнять нейронки внутри megakernel паф трейсера вызовом одной функции…
Я продолжаю работать над фреймворком таким образом, чтобы он мог потенциально использоваться в других движках, даже без Slang. Тип шейдерный PyTorch.
Пока таргет: Vulkan GLSL

но если DirectX выкатит поддержку cooperative matrices (или уже 🤔?), то с удовольствием бы и в hlsl с DX12 протащил

Пока вопрос: может кто посоветовать популярный опенсурс рендер-движок с Вулкан бекендом, на примере интеграции в которой можно было проверить фреймворк?

P.s. возможно с последним нужна будет помощь, отпишу как решение станет публичным. вдруг кому будет интересно помочь 😊

#графон #ии
  • 👍 2
Post #133
Pixel Science pinned «Карьерный\образовательный гайд в Computer Graphics, 2024 В последние недели меня всё чаще и чаще спрашивают о том, что следует изучать чтобы ворваться в индустрию. И запросы совершенно разные: - как начать заниматься ИИ-графикой? - как стать рендер-инженером…»
Post #132 1.05K
Карьерный\образовательный гайд в Computer Graphics, 2024

В последние недели меня всё чаще и чаще спрашивают о том, что следует изучать чтобы ворваться в индустрию. И запросы совершенно разные:
- как начать заниматься ИИ-графикой?
- как стать рендер-инженером в геймдеве?
- как войти в ресерч-мир?

Я искренне не хочу брать деньги с молодых спецов для ответа на множество вопросов... но и времени у меня свободного мало чтобы предоставлять консультации за бесплатно. я и так преподаю своим студентам в KIT...

Поэтому я решил демократизировать эти знания и опубликовать открытый обновленный гайд для карьеры в графике в 2024ом году: вот он прям здесь

надеюсь он вам поможет и не стесняйтесь его пересылать всем тем, кому нужна помощь, если вы считаете его полезным! (а ну и пишите, что следует поменять конечно же)

удачи 😊😊😊

Заранее прошу прощение за русский язык уровня Б1, активное изучение английского и немецкого добило первый окончательно

#карьера
Notion Notion | Where teams and agents work together A collaborative AI workspace, built on your company context. Build and orchestrate agents right alongside your team's projects, meetings, and connected apps.
  • ❤ 26
  • 🥰 4
  • 🫡 2
  • 👏 1
Post #130 524
Pixel Science Neural Fields meet Explicit Geometric Representations for Inverse Rendering of Urban Scenes (статья) Разобрался тут с новым ИИ-рендер движком от Nvidia, который позиционируется как окружение для тренировки беспилотных авто Я бы сказал, что фактический мы…
В дополнение другая простенькая статья основанная на Mitsuba от них же, где оптимизация параметров сцены (источники света, инвайромент мапы, тонмапер) идет с помощью гайдинга зафайнтьюненной диффузной модели.

По сути здесь ИИ выступает в качестве кнопки: "подкорректируй сцену так, чтобы она выглядела более реалистично"

#ии #статья
Post #127 435
Neural Fields meet Explicit Geometric Representations for Inverse Rendering of Urban Scenes (статья)

Разобрался тут с новым ИИ-рендер движком от Nvidia, который позиционируется как окружение для тренировки беспилотных авто

Я бы сказал, что фактический мы можем наблюдать "классический" рендер с deferred shading-ом, но с парочкой различий:
- первичные поверхности мы находим через трассировку SDF и далее экстрактим surface properties (albedo, normal etc) c помощью сетки типа InstantNGP

- каждые 20 итераций преобразуем SDF в мешку, используя Marching Cubes. далее полагаясь на RTX пускаем 512 вторичных лучей для шейдинга поверхности на основе инвайромент мапы. естественно без GI 😢

из интересного как всегда танцы с бубном с регуляризацией из-за ill-posed проблемы: "это у нас albedo около 1.0 или же солнце сильно светит?" - вечный вопрос (но похожее мы видели и ранее)

имхо, это просто отличный кейс, доказывающий что рендер-скиллы можно применять не только для игр\кино. рекомендую кому последнее наскучило 👍
  • 👀 5
Post #122 303
Pixel Science кстати, всего 0.5 ms для 6ти-слойной MLP c 32 нейронами на 1920х1080 пикселей. 4080 RTX имхо, оч. быстро
как же это можно использовать на практике? Оригинальный WoS вообще можно закодить в шейдертое за 5 минут, пример. Я тогда попробовал в своем движке его использовать для стохастического размытия, ведь распространение тепла работает в соответствие с Гауссовским профилем при определенных условиях.

Т.е. хотим что-то поблюрить на поверхности геометрии (шумы там от рендера) -> штука работает. Но тогда я столкнулся с ограничениями оригинального WoS, не все "параметры были доступны" (хотел анизотропный блюр и т.д.)

Сейчас после множества работ кажется многие из них ушли, и возможно стоит снова обратить внимание 😉
Shadertoy Build shaders, share them, and learn from the best community.
  • 👍 2
Post #119 283
Walkin’ Robin: Walk on Stars with Robin Boundary Conditions (статья, код)

Просимулировали нагрев вездехода NASA на Марсе через "рендер" движок на GPU
____________________________________________

WoS недавно революционно изменил обработку геометрии и решение диффуров на её поверхности. Тогда авторы показали что для решения задачи распространения тепла на поверхности (точнее Laplace Eq) не обязательно дискретизировать геометрию и использовать FDTD или иной biased global and memory consumption метод

можно переписать диффуры в виде интегралов и использовать стохастический но точный Monte Carlo метод, прям как в рендере. Эксплуатируя уже выведенные: Russian Roulette, Control Variates, "Radiance" Cache, "Light" Tracing для снижение дисперсии. И прям на GPU c шейдерами через Point\Ray Queries. Со 100% скалируемостью


В новой статье авторы вывели же поддержку Neumann и Robin Boundary Conditions, которые позволяют нам описывать через производные граничные значения. к примеру через ожидаемый поток тепла.
  • 👀 3
Post #118 508
Pixel Science Наконец-таки полноценно заработал "рендер-мутант", который я закодил вместе со своим дипломником! Решение основано на Falcor, поддерживает все его материалы и фишки, но позволяющее исполнять нейронки внутри megakernel паф трейсера вызовом одной функции…
кстати, всего 0.5 ms для 6ти-слойной MLP c 32 нейронами на 1920х1080 пикселей. 4080 RTX

имхо, оч. быстро
  • 🔥 7
Post #117 485
Наконец-таки полноценно заработал "рендер-мутант", который я закодил вместе со своим дипломником!

Решение основано на Falcor, поддерживает все его материалы и фишки, но позволяющее исполнять нейронки внутри megakernel паф трейсера вызовом одной функции на Vulkan-е. А также обучать ИИ вместе с оптимизируемыми текстурами\хэш-гридами, хранящие латентные вектора, и вообще всем тем что может быть дифференцировано

И в отличие от tiny-cuda-nn не нужно ручками рассчитывать градиенты! AutoDiff Slang-а делает почти всё автоматический на основе "любой" loss функции

Также через связку slang->glsl и cooperative matrices + указатели реализован fully-fused MLP инференс на тензорных ядрах (как в tiny-cuda-nn).
Так что работает оч. быстро, скоро выясню быстрее ли чем оригинальное решение от нвидиа. но тут скорее вопрос удобства использования :) tiny-cuda-nn ооочень неприятно встраивать в рендеры, к большому сожалению...

Было мягко говоря тяжело 😅

P.s. на скриншоте простой Neural Radiance Cache, в качестве теста
  • 🔥 10
  • 🆒 3
  • ❤ 2
Post #113 346
Advances in Real-Time Rendering in Games

Наконец-таки опубликовали слайды ежегодного воркшопа по реал-тайм рендеру!

В этом году выступили с докладами по темам:

- Neural Light Grid: Modernizing Irradiance Volumes with Machine Learning (pptx, pdf)

- Seamless Rendering on Mobile: The Magic of Adaptive LOD Pipeline (pptx, pdf).

Brian Karis, Epic Games, подтвердил что это клон Nanite и был разочарован данным докладом. Соглашусь с ним, что отсутствие double-blind peer view презентаций, очень сильно опускает их качество по сравнению со статьями того же Siggraph-а

- Flexible and Extensible Shader Authoring in Frostbite with Serac (pptx)

- Announcing The Call of Duty Open-Source USD Caldera Data Set (dataset)

- Variable Rate Shading with Visibility Buffer Rendering (pptx)

- Shipping Dynamic Global Illumination in Frostbite (ещё ждём слайдов)

- Hemispherical Lighting Insights from the Call of Duty Production Lessons (pptx)

- Achieving scalable performances for large scale components with CBTs (pdf)
  • 🔥 3
  • 👍 2
  • 👏 1
Post #111 465
На сигграфе и других площадках, можно наблюдать большое число примеров генерации text(+image/point clouds)->3D

Stability AI выпустили супер быстрое решение, генерирующее модель из картинки всего за 0.5 секунды

Nvidia встроила в Omniverse генерацию моделей, окружений и даже environment map для достижения желаемого освещения

Meta зарелизила несколько качественных статей на эту интересную тему, а также китайцы (из Tencent и универов, о чём я писал ранее) очень сильно продвинулись в этой теме

Мне порой пишут и спрашивают о том, как можно впрыгнуть в это направление, особенно со знаниями графики, рендера. Ведь text->3D это по сути Differentiable Render guided by AI, а еще там денег часто побольше и это что-то новое, трендовое

Я обычно всем рекомендую генеральный прекрасный курс от Vincent Sitzmann (MIT, основатель text-> gamedev 3D стартапа Yellow - писал тут).
А если хочется больше про обратный рендер, и меньше про ИИ, то безусловно работы RGL и 2 часовой курс от них и американцев будут лучшим подспорьем 😊
  • 🔥 7
  • ✍ 2
  • 👍 2
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →