Как нейросеть восстанавливает свет от объектов за пределами кадра

Экранные методы глобального освещения быстры, но не видят геометрию вне камеры. В подходе AMD карты отражений строятся со стороны каждого источника света. Их тексели становятся виртуальными источниками непрямого света, поэтому модель получает сведения об объектах за границей кадра.

К экранным буферам добавляют шумную оценку одного отражения на пиксель. Модуль внимания связывает геометрию пикселя с данными о свете, а отдельные декодеры восстанавливают рассеянную и зеркальную составляющие непрямого освещения.

Модель из технического разбора AMD содержит 2,19 млн параметров и без оптимизации, в FP32 PyTorch, обрабатывает кадр 512×512 за 45,56 мс на MI250. Для разработчиков рендеринга это ориентир для экспериментов с входными данными, но пока не готовый способ получить кадровую частоту реального времени.