CGIT_Vines

Мы тут с коллегой Даниилом Осиповым пишем курс по использованию ИИ в 3D продакшене. И в общем, пока пишем, вышла Astra, и Даня решил ее погонять на максимуме.

Короче, обычно мы делаем концепт в GPT, например, потом отправляем в какой-нибудь Tripo или Hy3D, теперь тот же концепт Даня закинул в Astra и попросил сделать модель и  настроить красивый рендер все это в Blender.

За 20 минут на экстра хай Astra сожрала половину 5-часового лимита, но!

Геометрия получается мидпольной, т. е. фаски, ngone, никаких 1.5-2 миллиона, как в классических генераторах, т.е. бери редактируй, мапинг сделан повидово, т.е. фронтальная, боковая, задняя часть отдельно, все равно гавно, конечно, но для некоторых пайплайнов сгодится.

Местами потянуло, не везде оптимально, но геометрия уже прям на голову лучше всего, что было до этого, и чище. Текстуры пока просто слитая картинка, надо учить пользоваться пэинтером)
В общем, пока не боимся, просто готовимся)
*.blend кину в комменты/

@CGIT_Vines

Еще одна интересная работа от ByteDance - Lucida.

Очевидным является тот факт, что роботам нужно будет понимать с чем они имеют дело когда они выйдет в открытый реальный мир.

Сейчас когда их обучают, для них делают специальные виртуальные среды максимально приближенные к реальности. Когда они попадут в реальный мир им нужно будет самим определять что перед ними, цельный ли это объект, или составной, тяжелый или легкий. Одним из предлагаемых вариантов являются подобные алгоритмы по достраиванию сцены и переводу данных с датчиков в приближенные к реальным предметы окружения.

Впечатляющая работа от World Labs

Работает так, что соединяет данные с разных источников и пытается реконструировать сцену в трехмерном представлении. К примеру, данное видео было снято одним дублем с трех мобильных телефонов. Далее все сгружено в модель которая реконструировала сцену и дала возможность полетать камерой по заданной траектории, записать дополнительные секвенции и получить новые кадры.

Модель сама достраивает недостающие части мира, если конечно, у нее хватает данных, а то вы сами понимаете что она там достроит. Работает на гауссианах. Им бы еще хорошую сегментацию прикрутить, вообще не было бы цены.

В общем обязательно идите по ссылке, там примеры вообще отвал жопы/
@CGIT_Vines

Кто там спрашивал, а как DLSS5 будет выглядеть с аниме гачами?

В общем, за выходные увидел очень много трясущихся людей "хахаах это слоп фильтр для лиц".
Если кто копнул чуть дальше смешных видосиков, то в целом смог увидеть, что там очень много параметров настройки, и нарулить можно будет по своему вкусу. С одного конца будут разработчики, с другого, вы со своим вкусом. Всем на релизе выдадут достаточно параметров для управления, от полного фарша до возможности вообще отключить технологию.

Вторая причина - тряски по поводу FPS, который падает в 2 раза. Сейчаc DLSS5 включают поверх абсолютно оптимизированного конвеера ренедринга под максимальный визуал для текущих технологий. Свет, материалы, тени, постаброботка и т.д. Если DLSS позволяет вам апскейлить текстуры, то зачем их выводить в максимальном разрешении, которое сделано для классического рендеринг пайплайна? Зачем делать 4к текстуры для персов по классике, когда можно будет использовать от той же Nvidia, Neural Compression + апскейлер, высвобождая пул текстурной памяти? Не забывайте про наниты, люмен, Mega Geometry и т.д. К выходу DLSS5 текущим и будущим играм нужно будет пройти отдельный пасс оптимизации, прежде чем можно будет судить о реальной производительности в играх под эту технологию.

И последнее про художественную ценность или ее нивелирование.
Если внимательно глянуть, то DLSS не меняет никак геометрию, анимацию, липсинг. А вот что он затрагивает, используя пасы рендеринга, так это текстуры, докручивая их по деталям интенсивности и глосу. Очень круто дотюнивает свет, часто доводя его до более "киношного" освещения, что, честно говоря, сложно сделать на текущих пайплайнах освещения, например, модульные объекты на персонажах такие, как шляпы, маски и шлемы. Так что, как вы сделаете игру, она так и будет выглядеть со всеми всратостями, но с DLSS будет чуть лучше, а не принципиально другое.

Ну и в следующих итерациях, я полагаю, появятся более умное сегментирование с доработкой отдельных деталей. Например, когда вы нарисовали на куртке зип молнию, но разрешения текстуры не достаточно, чтобы ее корректно нарисовать, а через сегментацию ее можно будет просто догенерить.
Ну и лет через 8 мы таки придем в создании контента к плейсингу волюмов и баундин боксов, а все остальное визуальное будет вычислять нейрочип, который станет неотъемлемой частью архитектуры видеокарт. Так что пока можно не переживать. Надеюсь, это последний пост про DLSS.

@CGIT_Vines

Немного предыстории наполнения сегодняшних пабликов сливами работы DLSS5.

В ранней версии NBA 2K27 были найдены файлы, активирующие технологию нейронного рендеринга. Когда моддеры поняли, что нашли, понесли тестировать все это в другие игры. И тут выяснилось, что если поколдовать с библиотеками, то можно запустить все это на 4 серии карточек Nvidia. А я прям помню, как писал про такую возможность только на анонсе DLSS5, собственно, кто бы сомневался, что зеленый маркетинг опять пойдет по этой дорожке.
Прочитать подробнее можно тут

@CGIT_Vines

Господа! Я в такую зловещую долину давно не проваливался!
Это и круто, и крипово одновременно!

Уровень работы аниматоров и технология блендов и движковой анимации ВНЕЗАПНО становятся настолько же архаичными, как дриопитеки.

Запомните этот твит, я вам скоро покажу, как выглядит GTA6+DLSS5 😮

Я тут как-то задумался на счёт землетрясений в связи с тем, что количество их, как может показаться, увеличилось по всему миру. Ну и живу я не в Японии, конечно, но на довольно подвижной плите.
Кто-то, может, помнит прошлогоднюю тряску в Бангкоке, в общем, я ее тоже ощущал. Приятного мало.

Ну и в итоге, я решил посчитать с GPT вероятность того, что я погибну при тряске. Закинул кучу данных, насчитал он мне 99.999%, что выживу, но есть одно обстоятельство, которое кратно увеличивает мои шансы откинуться, - это то, что я сижу дома 5 суток из 7 в неделю. Не думал, что удаленка обернется вот этим)

А на видео вы можете слышать, как звучит сирена в Японии, предупреждающая о землетрясениях. Даже не знаю, что лучше: услышать это или музыку из "Операции Ы"

@CGIT_Vines

Нравится вам это или нет, но на сегодняшний день, это самый эффективный способ бегать на максимальной скоростью.

"Аниме девочка, в расстроенных чувствах опаздывающая в школу"
@CGIT_Vines

Есть такая игра в стиме Turing Complete, в ней пошагово можно разобраться в устройстве работы низкоуровневых языков программирования и в итоге даже написать своей процессор.
Angaisb_ подключил к этой игре Codex Sol 5.6 и накодил виртуальный CPU и смог запустить сначала Space Invaders, потом Minecraft и потом по традиции Doom!

Отдельное удовольствие смотреть паутину графов! По Doom кину в комменты/

@CGIT_Vines

Как все-таки хорошо, когда doopidoo возвращается к истокам после экспериментов. В который раз он мне напоминает Cyriak в его прайме/
@CGIT_Vines

У Журнала 8БИТ вышло несколько постов с геймдев-подборками.

Есть игры, где можно виртуально открыть свою геймдев-студию и попробовать себя в роли продюсера. Также собран список неплохих движков: от очевидных вариантов до менее попсовых инструментов, на которых можно собрать прототип или джемовую игру.

В общем, в канале не глубинный техдок, а нормальные короткие материалы для тех, кто хочет поиграть, выбрать и что-то собрать самостоятельно.

И подписывайтесь на сам Журнал 8БИТ. Команда регулярно пишет про игры, ИИ, генеративку, технологии и разработку простым языком.

Из нижнего интернета принес совсем нишевую историю про процедурное моделирование с помощью ИИ агентов.

Есть разрозненное сообщество, чем-то напоминающее демо сцену нулевых, где ребята собираются и пилят модели на новом уровне, и на самом деле некоторые примеры довольно впечатляющие!
Прикол такого моделирования в том, что, во-первых, оно собирается исключительно агентами, во-вторых, модели собираются из примитивов, в-третьих, можно программировать поведение или анимации, а точнее интерактивность таких моделей.

Они более редактируемы, чем генерации, потому что тут нет лишней геометрии, что и плюс, и минус одновременно, вы не соберете органического монстра с порванной кожей и кишками, например, но можете собрать шкафы, какие-то scifi или hardsurface штуки, которые могут двигаться или сгибаться, например, турели, оружие, автомобили и так далее.
Есть даже ребята, которые хотят запилить маркетплейс с такими моделями, чтобы агенты имели доступ к запчастям, типа огромного китбаш склада для агентов, откуда агенты могли бы брать эти запчасти или части интерактивной логики. В общем, направление очень внушительное, но не без своих проблем.

Приложу некоторые примеры, но в теории технические штуки, в том числе и через CAD моделирование, могут все же выстрелить на ИИ моделях через 1-2 поколения.

@CGIT_Vines