NVIDIA представила нейронную сеть Instant NeRF, которая создаёт 3D-объекты и даже целые трёхмерные пространства из нескольких снимков.
Нейронная сеть получает в качестве входных данных серию из нескольких фотографий и информацию об углах обзора камер, с которых их сделали.
Затем алгоритмы искусственного интеллекта воссоздают снимки под недостающими углами.
В итоге Instant NeRF создаёт полноценный 3D-объект, который можно использовать в различных областях - игры, фильмы, в сферах развлечений и архитектуры, нейросеть могла бы очень быстро генерировать в виртуальной среде 3D-объекты реального мира.
Тестируя нейросеть, разработчик Юг Брюйер обнаружил
фичу, которая возникает, когда в обрабатываемой сцене находится зеркало. Instant NeRF даёт возможность заглянуть в зазеркалье.
В приведённом Брюйером примере нейросеть обработала 134 фотографии.
После ИИ-алгоритмы воссоздали снимки под недостающими углами, в том числе реконструировав отражение в зеркале.