Система освещения на базе ИИ достигла совершенно нового уровня

Обратите внимание на момент, когда рука пересекает световой поток — свечение мгновенно исчезает за ней, без единой задержки, в точности как настоящее освещение.

Конрад Речко называет эту технику «внедрение света с учётом глубины сцены».
Он добился того, что виртуальный источник света в кадре с веб-камеры «понимает» пространство комнаты настолько хорошо, что может огибать человека, проходить перед поднятой рукой и скрываться за плечом именно в нужный момент.

Это понимание достигается за счёт модели глубины, которая анализирует каждый кадр и вычисляет, на каком расстоянии от камеры находится тот или иной объект. Без этого свет просто не «знал» бы, что оказалось на его пути.

Отдельно стоит отметить скорость: обработка одного кадра занимает около 8 миллисекунд на чипе M4 Pro, с большим запасом укладываясь в требования для работы в режиме реального времени.

Но самое интересное здесь — инженерное решение, стоящее за этим. Речко написал систему вычислений непосредственно на TypeGPU, благодаря чему модель глубины работает прямо на видеокарте — там же, где происходит и обработка освещения.

Никаких данных не приходится пересылать обратно на процессор, никакого ожидания передачи между компонентами — вычисление глубины, обработка света и отрисовка кадра проходят через единый командный поток на GPU.

#интересное