CGIT_Vines

Давайте, как я люблю, посмотрим на процессы, которые происходят в геймдеве в общем. У Epic есть инструменты, которые взаимодействуют с ИИ, у Unity начинают появляться инструменты, которые работают под управлением ИИ.

Они так и говорят в своем ролике: "Every game will be touched by AI". Это ли не очевидный тренд?
Одна из систем, Unity Muse, будет помогать в каждодневных процессах, ускоряя их.
Другая, Unity Sentis, будет позволять встраивать другие нейронные сети для ваших нужд, типа плагин менеджера или бриджа.

Интересно посмотреть, как они будут решать вопросы с копирайтами. Можно ли будет продавать игры с генерацией из SD, например?

Прекрасное конкурентное будущее игровых движков в области AI наступило!

Почитать тут

В этом посте не будет eye-catching видео для привлечения вашего внимания, но будет картинка, ознаменовывающая начало нейронного рендеринга.

Несмотря на то, что статья больше прославляет чипы Intel для рендеринга, более важным тут является тот факт, что производители уже оптимизируют и пишут алгоритмы для нейронного рендеринга.

А это значит, что там, где стандартным алгоритмам требовались десятки секунд или часы на построение кадра, в ближайшем будущем смогут выводить картинку, посчитанную через патч трейс в реальном времени. Прости, Lumen!

Кроме того, также обещают степень сжатия высокополигональных сцен до 70-95 процентов. Это значит, что мы еще дальше выйдем за ограничения поликаунта и, конечно же, избавимся от лодирования, как в Nanite, только лучше!

К слову, на картинке лес с поликаунтом 1 триллион трисов.
Я в ахуе... давай!

Почитать тут

Вышла демка DragGAN.
Добавление работы с масками – необходимый элемент.

Надеюсь, с усложнениями мы не дойдём до момента, когда начнём задаваться вопросом: а может, быстрее по классике сделать?

Демка тут

Тут вылез прекрасный конкурент Gen2, с сумасшедшей демкой!

Красавец называется Zeroscope 2.0XL, может  text2video в разрешении 1024х576.

Сама демка просто сок!

Чекнуть тут

Я сейчас коллекционирую области около геймдева и смежных областей, которые потенциально апнутся на генеративе.

Свежий кандидат от Tencent с названием MotionGPT, который фактически через text2motion подберёт для вас анимацию или ее прототип для дальнейшего полишинга.

Куда ее запихивать, уже решать вам. Есть и Tafi, и Wonder Dynamics, и любые другие классические инструменты.

Почитать тут

Кроме того, у ребят ещё есть примеры работы с инвирой, интерьерной и экстерьерной. Ещё бы от ракурса к ракурсу учитывался контекст предыдущего кадра, и генерация не скакала бы слишком сильно. Был бы вообще отвал жопы.

Сорс

Все текстуры в этом видео сгенерированы нейросетью 🔫

Разработали пайплайн с AI генератором текстур и материалов на базе СтейблДиффужена с контролнетом и Гудини😳

Такой сетап (со своими ограничениями в плане аккуратности) позволяет осмысленно, с учетом форм и нужных цветовых сочетаний генерировать тысячи уникальных текстур за пару минут, вместо ручной работы в течение месяца

Работает супер быстро, есть возможность обучения на своих стилях, паттернах, цветах. Ну просто рай

Вот реальный пример, как внедрение нейросетей в разы ускоряет продакшн. Скоро поделимся еще несколькими наработками, где уже помимо текстур будут и генеративные 3Д модели и более сложные, автоматизированные пайплайны

А если это все завернуть в веб-интерфейс и дать участникам инсталляций кастомизировать виртуальные сцены?

Иногда можно и ошибки свои признать. Честно говоря, когда Adobe купила Algorithmic, которые выпускали Substance Painter и Substance Designer с еще парочкой неплохих софтин, я, как и многие, очень скептически отнёсся к этому.

Но в последнее время Painter развивается отлично, учитывает потребности художников, и добавляет новые полезные фичи, как на видео. Редактируемые сплайны кистей, это прям очень хорошо!

Ну, а про Фотошоп с AI-составляющей и говорить не приходится, и так все понятно.

Вот из-за такого можно купить любой AR-девайс почти за любые деньги. Таким должен быть экспириенс: с рефлекшенами, с такой имплементацией в окружение, с такими fx и повреждениями.

Как жаль, что пока это всего лишь Blender и RBC-аддон для рига и анимации тачек.

Ура, добывающая профессия теперь и в МЛ. Infinigen - «золотоносная» жила для генерации качественных синтетических 3D сцен для задач компьютерного зрения

Двигатель прогресса в МЛ - качественные данные. С этим много сложностей от этичного сбора до проклято-трудоемкой аннотации (особенно видео). Исследователи давно работают над симуляцией, и пока это не было достаточно хорошим решением (ограниченная вариативность, упрощенные текстуры и геометрии, зависимость от референсов).

Ученые из Принстона представили Infinigen - источник бесконечных возможностей генерации природных 3D сцен с автоматической аннотацией.

Infinigen восхитительный, потому что:
Процедурный. Каждый объект, от формы до текстуры, создается с нуля по стохастическим правилам и настраивается(!), а количество интерпретируемых человеком степеней свободы (типа материала и размера камней, формы листьев и лепестков) не менее 1070.

Геометрически достоверный. В нем не используются рельефные карты или прозрачности. Все детали геометрии реальные. В этом помогает Blender.

Вдохновлен эволюцией. Зрение млекопитающих развивалось в мире растений, животных, ландшафтов и природных явлений: огонь, дождь, снег. И важно в геологоразведке, навигации беспилотников, экологического мониторинга, спасательных работ, автоматизации сельского хозяйства.

Автоматически аннотируется. Для различных задач CV от оптического потока, 3D-flow сцены, нормалей поверхности до паноптической сегментации и границы окклюзии.

Доступный. Открытый код и artist-friendly с конвертацией Blender Nodes в питон.

Теперь почему это труд и нужен инпут сообщества.
Среднее время создания пары изображений 1080p составляет 3,5 часа. Примерно один час из этого времени используется GPU для рендеринга. Требует в среднем 24 Гб памяти (тестировали на 2 процессорах Intel(R) Xeon(R) Silver 4114 @ 2.20GHz и 1 из 5 NVidia-GPU).
Зато получается годно с первого раза.
Обещают в ближайшее время выложить предсимуляции и создать большой репозиторий с общей копилкой генераций.

🔑Сайт
⛏Код
📖Пейпер

@GingerSpacetail

Пока еще бытует мнение, что управление взглядом, возможно, одна из систем, которая придёт на смену классической системе ввода-вывода.

Дак вот в дефолтном виде такая система не пригодна абсолютно, т.к. постоянное напряжение глаз из-за огромного количества непривычных действий чрезмерно утомляет человека.

Кроме этого, делать ежеминутные действия и выводить сложные формы - задача не из легких. На видео видно.

Другое дело - это вспомогательные системы, используемые при управлении взглядом, такие как Apple пытается пробовать в своих очках. Это некий симбиоз фильтрации действий с специально созданным под такое управление UX.

Ответ во второй половине дня дам

Почти каждая неделя приносит крутые эксперименты с новыми способами создания видеоконтента.

Нам нужно больше экспериментов и людей, у которых есть чувство вкуса и смелость начать делать вещи, которые раньше никто не делал.

Для этого вам нужно будет пару друзей, один компьютер и грин-скрин. Пишите сценарий, прописывайте персонажей, делайте раскадровку и начинайте генерировать свою историю.

У нас осталось совсем немного времени, пока Disney или Netflix начнут спонсировать подобные проекты. Площадки голодны до хорошего, необычного контента!

Сделано с помощью kaiber.ai

Воу, это прямо очень хорошо!
Автор не написал и не показал, как именно он за 5 минут собрал эту сцену.

Но определённо это точно генерация MJ и карта глубины. Есть один важный момент: композиция, плановость и глубина подобраны очень удачно. Из-за чего объем считывается наилучшим образом и идеально подходит для дальних планов и может быть даже средних в некоторых случаях.

Ну, вы знаете мою слабость по энвайронментам, а особенно по сайфайным. Поэтому генерация в Gen2 прямо в точку. Последние разработки в дефликеринге тоже пошли на пользу стабильной картинке.

Понятно, что контроля отдельных элементов пока нет и в помине, и даже пока вообще не ясно, как это может быть реализовано.

Определённо нужно понимание геометрии сцены и сегментирование, чтобы получать какое-то подобие Nerf или хотя бы поинтклауда по глубине. А также что-то типа предсказания мест, которые находятся в скрытых зонах кадра.

Честно говоря, пока еще не натыкался ни на один алгоритм, который хотя бы примерно описывал бы логику построения пространства. Поделитесь, если встречали.

Так, вы же знаете, что когда вы делаете Trim текстуры, важно стараться не делать слишком "назойливых" резких, контрастных пятен, очень уникальных элементов, потому что они у вас будут повторяться при мапинге, и глаз будет очень сильно цепляться за них, и все это будет убивать правдоподобность. Появится ощущение тайловости, и в целом работа будет выполнена не идеально.

Да, и раньше можно было пойти в фотошоп и замазать штампом, но вы помните, что он работал не всегда идеально, и это могло стать проблемой с большими пятнами. Сейчас с бустом Photoshop AI такие вещи исправлять стало в разы проще, и получается прямо то, что нужно.

+ Еще один повод перебраться в новый фотошоп.

Замени все, что видишь.

Segment Anything & ControlNet.
Работает пока не в риалтайме.

Когда натыкаюсь на очередные тесты по замене чего-либо, опять прихожу к вопросу.

Как далеко мы зайдем в филджитал, когда сможем в реальном времени заменить весь информационный поток? Аудиальный, визуальный, тактильный, с сохранением контекста. Это не будет полная галлюцинация, она будет контролируемой. Какая роль тогда останется людям в коммуникации?

Ситуация:
Неприятный, необразованный человек сможет выглядеть опрятно, говорить литературно, но потом все равно въебать и забрать всю вашу электронику и кроссовки. Вместо подворотни, приятный японский садик.

Важно при такой замене сохранять контекст диалога, не приукрашивать опасность.

Сферы, где замена должна быть запрещена, это правопорядок, любые контролирующие органы и проверки.

Возможность осуществления всего этого случится при нашей жизни. Какие плюсы и минусы вы видите уже сейчас?

Я, мягко говоря, воодушевлен тем, какие игры нас ждут в этом году. Такое огромное количество годных игр было анонсировано, и все они такого высокого качества, по крайней мере в трейлерах и геймплейных видео, в том числе. Есть, правда, и некоторые сомнительные анонсы.

Да, конечно, у многих из них будут проблемы на старте, и опять будут эти письма с извинениями, но тем не менее.

Ладно, вот последний сборник с Xbox:

Это будет разъеб Starfield - https://youtu.be/kfYEiTdsyas

Senua's Saga: Hellblade II - https://youtu.be/xmGvuh6cV9E

Fable - https://youtu.be/PEQRwpMYPaw

Star Wars Outlaws - https://youtu.be/ymcpwq1ltQc

Avowed - https://youtu.be/ULsF7B6bFuU

Like a Dragon: Infinite Wealth - https://youtu.be/3Q1HRYrO1Gw

Forza Motorsport - https://youtu.be/em4gv1Ietko

Конечно Cyberpunk 2077: Phantom Liberty - https://youtu.be/reABCMNGM3w

Metaphor: ReFantazio - https://youtu.be/btHGCpUPjPk

Clockwork Revolution - https://youtu.be/DDFuhaYxeMU

Как определить, что перед вами гавно, высосанное из пальца?
Это должен быть посредственный продукт, активно использующий базворды не принося принципиального изменения в процесс работы.

Мы еще не раз увидим text2kolbasa, food2shit, money2job или text23dCharacterEngine, как в данном случае.

Не забывайте, что метаверсеры и крипто-инвесторы сейчас активно оседлали тему "ИИ" и генератива.