Продолжение про SIGGRAPH ч.2

И я сам очень многому удивился и обнаружил свой предсказатель неоткалиброванным.

Хотя вроде занимаюсь нейронным рендером, шарю, вот нашу работу включили в "How Do Neural Shaders Help?" от Nvidia...

К примеру: знаменитая работа RenderFormer. Обсудил с авторами все мельчайшие подробности. Изначально рисовал себе такую картинку:

хорошо, каждый аттеншен-блок трансформерами какбы распространяет редианс от одного треугольника-токена к другому. просто некий radiosity, но в латентном пространстве

Типа чем больше блоков, чем глубже трансформер - тем больше отражений\преломлений модель может симулировать - оказалось нет, нихера. и авторы тоже поразались этому 🤯

модель находит важные пути-света значительно эффективнее, чем мы это делаем классическими алгоритмами. нам не нужны 12 блоков трансформера для симуляции 12 отражений луча света. хватит, условно говоря, 4

и да, понятно что пока медленнее. понятно что хреново скалируется. контекстное окно, все дела

но это всё WIP