ML-проект недели – определение глубины сцены в реальном времени

На 7.4 миллиона просмотров за сутки разлетелся проект инженера из Software Mansion (Польша). Он работает с TypeGPU – библиотекой, которая позволяет писать GPU-шейдеры прямо на TypeScript.

Автор запустил нейросеть, которая по обычной 2D-картинке восстанавливает карту глубины сцены, и укладывается при этом в ~8 мс на чипе M4 Pro.

Кадр видео при 60 fps длится ~16.7 мс, так что это полноценный реалтайм прямо в браузере. Плюс все, от нейросети до финального рендера со светом, работает в одном GPU-пайплайне, без передачи данных туда-обратно между CPU и GPU.

Демо выглядит особенно хорошо, но кода в опенсорсе нет (возможно, его собираются продать Zoom за несколько миллионов ✨)