Как и обещал, расскажу про нейротекстурирование для нашей инди-игры Bridges of Underlands. Мы попытались создать для неё приятное глазу минималистичное 3Д-окружение без ощущения "дешевого лоуполи".

Наш техарт Дмитрий Крипаков придумал для этого свой пайплайн. Это Stable Diffusion с контролнетом и специально обученным Чекпойнтом и Лорой, который позволяет генерировать стилизованные текстуры для разных элементов окружения, но делает это не "в лоб", а точно повторяя все изгибы и впадины исходной модели.

Главная фишка этого подхода в том, что это не проекция, из-за которой обычно возникают "потяги" или артефакты в местах, невидимых для камеры. Это генерация под хитрым образом подготовленную UV-развёртку с дополнительными атрибутами.

Технически это реализовано через Houdini и специально для этого написанный коннектор к ComfyUI. Мы процедурно создаём поверхность и автоматически генерируем десяток вариантов текстур, причём сразу с картами нормалей и прочими PBR-радостями. Из получившихся базовых элементов (стен, колонн, портиков, балок), как из конструктора, собираем уровень. Поскольку параметры генерации не меняются, то все элементы идеально подходят друг другу по стилистике.

Обратный подход, когда первой появляется текстура, а потом уже из неё генерируется карта высот и выдавливается меш, отлично подходит для создания груд камней и прочих органических пропсов.

Поиграть в саму игру можно вот тут:
https://bereg.itch.io/bridges-of-underlands

#gamedev #stablediffusion