🗣Новый движок глубокого обучения от NVIDIA Research для создания 3D-моделей объектов из стандартных 2D-изображений на базе GAN-нейросетей и платформы NVIDIA Omniverse.
Приложение GANverse3D, разработанное исследовательской лабораторией NVIDIA AI Research Lab в Торонто, преобразует плоские изображения в реалистичные 3D-модели. Результаты их рендеринга можно использовать в виртуальных средах, позволяя разработчикам игр и дизайнерам легко добавлять новые объекты в свои макеты без опыта в 3D-моделировании и больших бюджетов на визуализацию. Например, одну фотографию автомобиля можно превратить в 3D-модель, которая может объезжать виртуальную сцену с реалистичными фарами, задними фонарями и поворотниками. Обучающий датасет создается с использованием GAN-нейросетей, которые синтезируют изображения одного и того же объекта с разных точек углов.
Предыдущие модели инверсной графики полагались на трехмерные формы в качестве обучающих данных. Новый подход без помощи 3D-ресурсов превращает GAN-модель в эффективный генератор данных для создания трёхмерного объекта из двумерных изображений. Обученная на реальных изображениях, а не на типичных синтетических данных, эта ИИ-модель лучше обобщается на реальные приложения, экономя время и бюджет на моделирования сложных виртуальных объектов. В частности, с обученным приложением GANverse3D реальные фото автомобилей, зданий или даже людей и животных можно преобразовать в трехмерные фигуры, чтобы затем настроить и анимировать их в Omniverse.
Для визуализации одного и того же объекта с разных точек обзора нейросеть имеет следующую структуру: первые 4 слоя открыты, а оставшиеся 12 – заморожены. И наоборот, если заморозить первые 4 слоя, а остальные 12 – изменять, нейронная сеть генерировала разные изображения с одной и той же точки обзора. Назначая вручную стандартные точки обзора (высота и расстояние от камеры), исследователи смогли быстро создать датасет с несколькими ракурсами из отдельных 2D-изображений.
Эти многовидовые изображения включены в структуру рендеринга для инверсной графики, чтобы получить модели 3D-сетки из 2D-изображений. После обучения на многовидовых двумерных картинках GANverse3D нужно только одно двухмерное изображение, чтобы сформировать сетку трехмерной модели. Эту 3D-модель можно использовать с трехмерным нейронным рендерером, позволяющим разработчикам настраивать объекты и менять фоны. А импорт в качестве расширения на платформу NVIDIA Omniverse и запуск на графических процессорах NVIDIA RTX, GANverse3D пригодится для воссоздания любого 2D-изображения в 3D.
Результаты тестирования последней GAN-модели от NVIDIA, обученной на 55000 изображений автомобилей, превзошли нейросеть обратной графики, обученную на популярном наборе данных Pascal3D.
https://blogs.nvidia.com/blog/2021/04/16/gan-research-knight-rider-ai-omniverse/