Как начать использовать неиронный шейдинг
https://developer.nvidia.com/blog/how-to-get-started-with-neural-shading-for-your-game-or-application/

Neural shading — это технология, которая позволяет интегрировать обучаемые модели в графический конвейер для повышения качества и производительности рендеринга в реальном времени за счёт использования специализированного ИИ-оборудования, например, тензорных ядер NVIDIA. Она использует небольшие нейронные сети, которые выполняются внутри шейдеров и могут быть оптимизированы с помощью таких инструментов, как Slang и SlangPy, поддерживающих автоматическое дифференцирование. Технология применима для сжатия текстур, работы с материалами, расчётов освещения, постобработки, обработки геометрии, анимации, процедурного генерирования контента, шумоподавления при трассировке лучей, сжатия анимации и упрощения мешей. В будущем neural shading может обеспечить баланс между качеством и производительностью, расширить функциональные возможности и повысить гибкость платформ.

Во всех технологиях с нейросетями главное помнить что они как ленивый школьник. Не решают задачу, а подставляют подходящий ответ. Это может быть и применимо. И быстрее. И медленнее. Главная сложность в одном. Это новый вид визуальных артефактов. С которыми нужно будет сражаться.

Просто сейчас я столкнулся с забавной задачей, поэтому сразу подумал про артефакты от такого инструментария. В моей задаче из-за нюансов рендеринга и битности текстур в определенных случаях я узнал про применение дитеринга. Думаю на неделе напишу небольшую статейку на эту тему. Про разные шумы. Я когда-то и так писал статью про фильтрацию шума, а теперь можно написать про его добавление.

В общем инструмент любопытный. Посмотрим как оно будет работать в реальности. Забавно что я заметил, что раньше визуальные баги было трудно дебажить, так как трудно описать суть для поиска. А с нейросетями искать стало так удобно, что они могут подсказать направление даже в этом случае.

#новости