CGIT_Vines

Пример того, как это может выглядеть.

Скорость вывода, рассыпающаяся картинка, консистентность вывода в сетевой игре. При таких вводных, большой вопрос: оставят ли нам радость локальные вычисления. Это все же может быть тяжелой ношей на текущем зоопарке оборудования. К тому же, вероятно, нужны новые более адаптированные к этому чипы.

Очень интересно, покажут ли на релизе трейлере в GTA6 предполагаемых NPC от GPT. Анонс какого-то генератива от игры десятилетия ожидается, ведь Rockstar всегда удивляла передовыми технологиями на десятилетие вперед.

Когда я говорил, что развитие графического представления может вообще пойти по другому пути, я имел в виду, что может не быть плавного изменения пайплайнов от сложных к простым.

Может произойти вообще координальный сдвиг, и нужен ли будет хотя бы каркас в виде 3D геометрии, еще большой вопрос.

Вполне вероятно, что в контексте игр будем обходиться контрольными точками, путь между которыми будет генерироваться вариативно и, возможно, у каждого по-своему, на основе приблизительного описания.

А пока что - просто тесты рендеринга примитивов и расчеты света и тени.

⬆️Эксклюзивно для @CGIT_Vines дропнули релизный трейлер GTA6 🔝

Пока что появление новых инструментов не выглядит и близко как однокнопочные решения, и для достижения сносных результатов все еще нужно тратить довольно много времени и жонглировать кучей разного софта.

Только если раньше это были тяжелые профессиональные стендалон решения, то сейчас это куча облачных сервисов, за которые нужно платить, хотя и не сопоставимую по стоимости с теми же лицензиями Autodesk.

В итоге круги ада, которые нужно пройти:

- 4 ракурса желаемой модели ☠️
- стриминг marmoset to krea.ai
- промптинг, пока не получишь желаемый результат
- Runway, чтобы получить кропнутый анимированный бюст

Это не значит, что ужасная и нерабочая схема. Сейчас, пока все не устоялось, можно проявлять творческий подход к новым инструментам, учитывая то, что вы хотите получить на выходе. Кажется, сейчас самое время экспериментировать со своими историями в области комиксов, анимации и кино.

сдохла sdxl turbo + tensorrt = 50fps @ 4090

Видео не ускорено. Теперь инсульт доступен и в реалтайме,
what a time to be alive!

Забавно, что при такой скорости боттлнек уже на фронтенде.

тред

@derplearning

🛠 Составил для вас кринж рейтинг лучших игровых персонажей... ну, с некоторыми улучшениями.

Узнали, согласны? Кого я пропустил и кого можно было бы добавить, кидайте в комменты. И хороших выходных! 🥰

С тех пор, как Unity обосралась со своей новой бизнес-моделью, Godot не оставляет надежды занять освобождающееся место и показывает реалистичные демки со сканами и модной системой освещения SDFGI Lighting.

Лайтинг основан на дистанс-филдах, как в UE, но пока не умеет в окклюдеры и эмиссивные поверхности, при этом свет динамический.

А помните время, когда Blender не воспринимали всерьез и говорили, что это не стандарт индустрии? С Godot вполне может произойти то же самое.

У меня, к сожалению, не хватает времени на изучение нового движка, поэтому я к вам, комьюнити, хочу обратиться. Напишите, пожалуйста, в комментариях о плюсах и минусах Godot. Может ли он составить достойную конкуренцию Unity и UE?

🚀 Вывод российских геймдев разработчиков на мировые рынки!

Центр развития креативной экономики АСИ запускает акселераторы с целью вывода российских геймдев-разработчиков на зарубежные рынки. Первый акселератор будет ориентирован на азиатские рынки, в частности, Китай. В рамках программы помощи 30 компаниям предоставят обучение, экспертную поддержку и возможность установить контакты с партнерами из дружественных стран.

🎮 Главная задача акселератора - разработка видеоигр с зарубежными партнерами и совместное продвижение игровой индустрии. Участники программы получат знания про экспорт в страны Азии и БРИКС+, создадут стратегии совместного производства игр и смогут представить свои проекты на крупных международных форумах.

🌍 Результаты акселератора будут представлены на Петербургском международном экономическом форуме, Восточном экономическом форуме и саммите БРИКС. Также планируется распространение опыта и результатов программы на другие страны.

Это отличная возможность для российских геймдев разработчиков расширить свои границы и выйти на мировой уровень! 🌟

SceneTex - интересная работа, которая берет наработки в области генерации text2img и прожекта на геометрию. Из опорной стены архвизеров выбили еще пару кирпичиков.

В этой работе постарались решить довольно крупную проблему согласованности пространства для генерации. Когда прожект идет на отдельный объект, проблем почти нет. А когда у вас стул или диван стоит на полу, то велик шанс залететь с текстурой дивана на пол или стену.

Тут получилось избежать подобных проблем, в видео как раз показана работа конкурентных алгоритмов с подобными проблемами.

Дело за малым, либо продать наработки, либо самостоятельно довести до релизного продукта. Одно из двух обязательно произойдет.

Описание
Видео

Ну и щепотка LLM от китайской компании DeepSeek. Работает на трансформерах и только с текстом. Вообще, конечно, забавно, что большое количество языковых моделей явно будут продвигать политику и взгляды той страны, в которой она была разработана.

Отсюда нужен фреймворк, способный запрашивать данные из разных моделей и выводить тебе факты с поправками на географию и пропаганду.

Чат с открытым исходным кодом.
67 миллиардов параметров.
2 триллиона двуязычных токенов.
Базы до ноября 22 года.

⬆️Риалтайм рисовалки растут как будто их тоже кто-то генерирует (кажется, люди начинают догадываться, что AGI уже тут и сам себя распространяет).
Для бесплатного входа используйте код: JAVILOP или LINUS
https://www.freepik.com/pikaso

⬆️У Krea.ai появился апскейлер, который добавляет деталей, если вы сдвигаете силу воздействия генерации в большую сторону. Особенно интересно работает с лицами, попробуйте свое лицо. В итоге попадете либо в зловещую долину, либо просто почувствуете странное ощущение, потому что почти все черты сохраняются, но минимально меняются уголки глаз, носа, рта, лба, и вот это уже как бы не вы, но глазом не сразу понятно, что изменилось.
https://www.krea.ai/apps/image/enhancer

Новостей иногда падает столько, что выделять под каждую отдельный пост кажется нет смысла, к тому же не то чтобы прям прорывные обновления выходят.

Это на сегодня лучшее, поэтому идет первой.

🤕Онлайн-рисовалка с реалтайм-генерацией ваших каляк. Боги, что за нейро-мета-ирония, теперь мем про сову стал реальностью. Масттрай.
https://drawfast.tldraw.com/

🤕Неофициальный sdxl-turbo. Соревнуемся в промптировании быстрее генераций.
https://huggingface.co/spaces/diffusers/unofficial-SDXL-Turbo-i2i-t2i

🤕Апскейлер, который не просто улучшает качество, а добавляет детали. Не дают попробовать бесплатно, сразу просят подписку. Сомнительно, но Окэй.
https://magnific.ai/

Тренды последнего месяца стремятся к реалтайму, а это значит, что алгоритмы оптимизируются и скоро будут совершенно дешевы в вычислениях. Следующим этапом необходимо решить проблему с коэффициентом диффузной стабильности, чтобы картинка не рассыпалась при каждой генерации, ну и выводить на рынок носимое устройство и жить в дивном новом мире.

Ты еще не научился делать ровную, аккуратную сетку, а Mesh GPT уже взяли на работу.

Что интересно, генерации происходят на базе LLM-модели, обученной на выборке с готовыми моделями. При разработке стремились добиться схожих результатов с тем, как обычно художники производят этап Lowpoly.

И тут я вижу проблему вот в чем. С одной стороны, цель благородная: облегчить, автоматизировать один из этапов производства. С другой, этот этап настолько заебистый, и столько входящих параметров нужно учитывать, чтобы действительно по требованиям сделать эту лоупольку, что, казалось бы, нет смысла это автоматизировать.

Т.к. помимо пайплайна Lowpoly+bake существуют и другие: мидполи, с фасками, без фасок, через USD с сабдивами, nanite и другие, которые, как я очень надеюсь, вытеснят со временем все остальные. Пока что я вижу, что так и происходит, проблема только в том, что не все движки нативно поддерживают эту технологию.

Пока алгоритм оптимизируют и доведут до потребностей реального продакшена, переход уже произойдет.

Если с самим принципом построения мы разобрались, то сама идея генерации через LLM дает куда более точные результаты, чем через те же поинтклауды. Грани мы имеем более четкие, что важно для хардсерфейс объектов. Тут под хардсерфейс я имею в виду любые твердотельные объекты, включая мебель, тоже туда же, не органические формы в целом. Вопрос только в том, может ли этот подход также эффективно работать с более органическими формами.

Читать подробнее
Видео

Кстати забыл с вами поделиться, такие видосики из статичных картинок можно погенерить ниже по линку like stable-video-diffusion.

Сорс

Вот в порядке бреда! Гипотетически у нас есть способ забирать импульсы из мозга, также у нас есть сети, которые, "как говорил Хуанг", будут генерировать каждый пиксель. Они, в теории, смогут генерировать контент, опираясь на какое-то подобие инпута, состоящего из наших импульсов (аналог промптов). Как скоро мы сможем сделать себе персональный рай или ад? Или просто уйти в галлюцинации?

Ладно, давайте просто опустимся с небес и попробуем предположить, возможен ли просто генеративный обещанный Хуангом игровой мир. В теории алгоритмы генерации окружения с получением глубины для проджекта уже есть. Алгоритмы проджекта текстур на генеративную геометрию уже есть (пример). Алгоритмы расстановки (дрессинга) на локациях уже есть (PrometheanAI). Автономные AI-driven агенты уже есть. Музыка, тексты, генерации квестов есть. Материала для обучения тонна, игр за последние 30-40 лет понавыпускали достаточно.

Тут важно понимать, что я говорю не о готовых решениях а о возможном развитии создания развлекательного цифрового контента.

Да, все это с большой оговоркой, да, сейчас собрать это все воедино мало кому под силу, скорее даже некому. И это вообще не перспектива ближайших 10 лет. Но сам вектор человеческой мысли и дорожка, которую мы себе прокладываем, с одной стороны, меня радует, а с другой стороны, я понимаю, что мы бредем по этому лесу и однажды упадем в медвежий капкан, который сами же себе и вырыли.

На видео генерация FPS в SD

Я первый раз, когда увидел ролик, была надежда увидеть какой-то новый движок — звучит еще модно: StarEngine.

По сути, это же модификация Lumberyard, который когда-то был CryEngine. История там запутанная, и в открытых источниках сложно найти информацию из какой же версии Lumberyard или CryEngine был собран StarEngine.

Но отдельные фичи этого движка действительно были бы полезны для ресерча и имплементации в другие известные нам движки. Понятно, что часто функционал дописывается под конкретный проект, например, бесшовная загрузка целых планет при входе и выходе из атмосферы. Starfield тихо рыдает в сторонке. Система света, исторически не использующая лайтмапы (еще задолго до Lumen), выглядит зачастую в разы лучше того, что можно получить на любом другом движке. Об остальных фичах смотрите в получасовом ролике о возможностях. Оно того стоит!

На самом деле, что-то мне подсказывает, что в ближайшее время, видимо, в начале 24 года, мы увидим, возможно, некоторые сюрпризы, которые готовит для нас Crytek. Но я вам ничего не говорил ⏫

Видео полностью

⬆️2 декабря Epic собирается запустить в Fortnite следующий крупный эвент "The Big Bang", который будет посвящен концерту Eminem.

И это, на самом деле, событие, и то, что делают эпики каждый раз на эвентах, стоит того, чтобы установить в очередной раз дистрибутив и поприсутствовать на нем.

На всех прошлых я присутствовал и не пожалел, также ставил игру, потом после эвента удалял. По сути, эти эвенты — это единственное такое крупное событие в цифровом мире. Музыканты за один такой эвент, который длится 1-2 дня, получают инкам, равный их годовому обороту концертной деятельности.

Кроме повышения прослушивания на стримингах, узнаваемости бренда музыканта, огромную роль играет продажа внутриигровых предметов, созданных специально к эвенту, в том числе скины музыканта и другие украшательства.

Наша команда трудилась-трудилась и выкатила две крупные (во всех смыслах) модели в релиз! 😧

➡️➡️➡️ Kandinsky 3.0 для генерации изображений и Kandinsky Video для генерации видео

Познакомиться и найти все ссылки можно в статьях на Хабре. Здесь про Kandinsky 3.0, а здесь про Kandinsky Video.

Ставим лайки, делаем репосты, а админ этого канала запасается ящиком энергетиков без сахара на следующий релиз. Как говорится, stay tuned. 🦔

С сегодняшним анонсом от StabilityAI версии для генерации img2video, мы получим рост инструментов для создания и модификации видео.

Да, у нас уже были Runway, Pika и другие подобные инструменты, но возможность тонкой настройки, большого комьюнити и возможность допиливания модулей, это лучший бензин для продукта.

Изменение парадигмы создания VFX для low и middle сегмента почувствуют это на себе в полной мере, трекинг, маскирование и сокращение времени генерации для разного рода эффектов, это то что ждет нас в ближайшее время.

В видео несколько примеров того, что можно будет делать в разы удобнее и быстрее. Промпт, футаж и матирование основные инструменты new wave.

Кто-нибудь слышал, чтобы музыканты или вокалисты, битмейкеры или сонграйтреры страдали, вообще, какой-то вайн из музыкальной индустрии, по поводу того, что AI всех поработит, убьет и оставит без работы?

Хотя там перемены происходят по силе сравнимые с изменениями в визуальном секторе.

Компания Musicfy позволяет не только генерировать text2music, но также наигрывать голосом мелодию и конвертировать в различные инструменты. Написание музыки никогда не было таким веселым, прямо как в детстве. И да, это именно написание музыки, а че, почему нет? ✅

Я сам далек от написания музыки, хотя сам и играл когда-то в группе. Хотел бы попросить людей, близких к теме, написать: вы демотивированы происходящим или вообще по-кайфу?