CGIT_Vines

Игровые движки и игроделы — В С Ё!

Google опубликовали блогпост (не статью и не веса) про Genie 2. Про первую версию я аж хотел написать лонг, но как-то всё забылось в потоке новостей, и силы ушли на Sora.

Genie — модели, которые генерируют видеокадры из игры. Они принимают на вход сигналы вашей клавиатуры или мышки, и рисуют картинку следующих кадров исходя из команд. Вторая версия сильно прокачалась в качестве (первая была во многом про 2D-игры) и консисентности. Весь геймплей в роликах к посту сгенерирован. Что отмечают гуглеры:
— Long horizon memory (если отвернуться от пространства, а затем повернуться обратно, то будет примерно то же самое, а не абсолютно новое)
— Long video generation with new generated content (до минуты генераций)
— 3D structures
— Object affordances and interactions
— Character animation
— NPCs (другие персонажи в игре)
— Physics
— Gravity
— Lighting
— Reflections (RTX не нужен, но GPU не выбрасываем 😏)

В конце блогпоста самое интересное: в эти симулированные миры поместили SIMA, агента для игр, про которого Google выпустили статью с полгода назад. SIMA контролирует «клавиатуру и мышь» при генерации Genie 2, и две нейронки как бы играют сами в себя.

> we believe Genie 2 is the path to solving a structural problem of training embodied agents safely while achieving the breadth and generality required to progress towards AGI.

😭 лонг про Sora вспомнили?

Некоторые знают мою любовь к визуальному стилю серии Destiny, Star Wars, и вот сейчас я с нетерпением жду Marathon.
Мне, честно, наплевать, даже если игра будет полным гавном, но то, какую работу они проделали по сборке визуального стиля для этой игры, достойно отдельного места на аллее дизайна.

Пост взял у моего знакомого арт-директора Романа, вот тут.

Смотрите видео о том, как этот стиль собирался Крегом Малинсом и Джозефом Кроссом.

Китайцы (Tencent) опять ИИ boot!
Выложили крупнейшую, на 13b параметров, опенсорсную text2video модель HunyuanVideo.

По скорости генерации чуть обходит GEN3, ну и опять же — опенсорсная.

Минимально требуемый объём памяти графического процессора составляет 60 ГБ для 720px × 1280px × 129f и 45 ГБ для 544px × 960px × 129f.

Вообще, в последнее время выходит просто тонна всего и по итогу теряется в общем потоке. Остаются только имплементированные в продукт решения с возможностью гибкой донастройки. Т.е. именно упаковка продукта и возможность подкрутить под себя дают моделям жизнь и шанс стать действительно массовыми.

Вертикальный рост хорош в гонке, но действительно полезных инструментов мы не получим, пока компании не перейдут в горизонтальное развитие. Text2anything сыт не будешь.

Поэтому гипотетическая модель от OpenAI, когда они её таки выпустят, конечно, это будет не SORA, а что-то с дополнительными опциями. Выйдет в красивой коробке, и вы не захотите пользоваться никакими, просто самыми большими моделями. Вам нужна зависимость от продукта, и там это понимают.

Геометрия вытащенная из Silent Hill 2 remake.
Ваше мнение?
Продолжение скину в комменты 🏳
@CGIT_Vines

Вернулся в начале недели к Comfu UI. Учу свою LoRA уже 4 дня, по ночам в Kohya. AI должен упрощать жизнь и лишать художников работы, а не вот это всё!

А когда-то я давал себе обещание не садиться учить Houdini.
Ноды не мои, но у меня так же, только хуже.

Наконец-то посмотрел короткометражку "Король и Голем".
Она в последних кадрах ставит экзистенциальный вопрос сосуществования ИИ и человека.
Король приходит к логической дилемме: может ли он доверять Голему? Проверкой служит отправка Голема на смерть. В итоге король отказывается уничтожить ИИ. На русском можно смотреть через яндекс браузер.

С одной стороны, в этой ситуации Голему можно доверять: если задача Голема — исключительно следовать приказам, король может быть уверен в его предсказуемости. Такой Голем выполняет свою функцию как инструмент.

Нельзя доверять полностью: Голем, способный уничтожить себя, лишён самостоятельной оценки ценности своей миссии. Это делает его менее адаптивным и потенциально опасным, если команда ошибочна или дана сгоряча.

Как следствие, отсутствие самосохранения означает, что он может быть использован как оружие для разрушения.

Разные инструкции в этой ситуации либо ставят ИИ под контроль человека или группы людей. В этом случае слепое повиновение, где Голем не способен принимать решения, приводит к тому, что он будет выполнять любые, в том числе ошибочные, указания.

И нам нужно снова создавать Голема зависящего от языка и письменности.

Есть ещё пару способов получения трёхмерного пространства. Один из них работает на основе видео, через CogVideoX. Второй — на основе статических изображений. И в одном, и в другом случае идея состоит в том, чтобы получать дополнительные, обычно четыре, ракурса и на их основе создавать облако точек. Просто в 2D это делается в разы быстрее, чем в 3D.

И первый, и второй вариант имеют проблемы с консистентностью, искажённой перспективой и т.д. Интерполяция вида не приносит должного выравнивания в объёме, и искажения всё равно остаются. Тут нужно идти через другие способы и "костыли", такие как использование симметрий, вспомогательной разметки, сегментации или входных данных в виде трёхмерных блокаутов либо хотя бы дополнительных ракурсов.

Ещё раз: проблема сейчас именно с консистентностью и выравниванием. Я даже готов двигать дополнительные тангенты, чтобы выравнивать промежуточные ракурсы и править перспективу через грид, но при этом не терять объёмы.

@CGIT_Vines

Маск неожиданно анонсировал в ретвите X, что его @xAI планирует открыть AI-игровую студию, что бы это ни значило.

Вероятно, его игровые инфоповоды последние пару недель были не просто так.

"Слишком много игровых студий принадлежат огромным корпорациям", — сказал Маск, видимо имея в виду, что для еще одной корпорации должно найтись местечко.

Большой шаг в прогрессировании разработки 3D-генераторов.
SAMPart3D — система сегментации трехмерных объектов, которая не требует разметки заранее и не использует никаких подсказок. Конечно, это не будет работать идеально с более абстрактными объектами, но для всего остального должно довольно сильно апнуть удобство и последующее редактирование, в том числе анимацию, переназначение материалов или их перегенерацию.

Tripo уже заявили о партнерстве, так что следующую модель, я надеюсь, уже можно будет ожидать с этим функционалом.

Описание
Git

Если бы мы знали, что происходит, но мы не знаем, что происходит

Футуристы: Летающие машины, роботы, делающие рутинную работу, мир без войн, космические круизы и бесконечная жи...

Мир: Не-не-не, Снуп с толпой укуренных хомис и белый пляшущий робот с IQ выше, чем у шести человек. Вот это вот будет 🤡

@CGIT_Vines

Первые тесты и сравнения Edify и Meshy (не знаю, за что так любят второй, он в разы ущербнее Tripo).

Первое — сетка получается квадной, преимущество которой сомнительно в некоторых случаях. Уже писал про это.

Второе — это работа с альбедо. На примере у Edify она ближе к референсу, что может быть проблемой при более цветном референсе или референсе с наличием артефактов цвета или теней.

Как сам доберусь до тестов, сравню нормально, но сейчас уже кажется, что Tripo пока лидирует.

Я где -то видел, что уже открыли тесты Edify, но не могу найти никаких доступов, на офф сайте в том числе. Если мне не приснилось, закиньте, плз линк в комменты.

P.S. а вот и линк нашелся.

Супер быструю модель (SANA 1.6B-1024) собрали для графических возможностей ноутбуков, противопоставляя себя огромному и неповоротливому Flux. SANA в 20 раз меньше и в 100 быстрее.

Может выдавать разрешения до 4к. Тратя на 1к примерно 1 сек., хотя заявляют, что меньше.

Правда, ноутбук получится довольно дорогим, потому VRAM нужно 16Gb.

На тестах довольно высокое обобщение на деталях, даже на высоких разрешениях. Но генерации и правда выходят довольно шустро.

Есть и
Проект и
Код и
Описание

Проснулся стартап PimEyes с вирусной рекламной кампанией про определение людей по фотографиям практически в реальном времени.

Конечно, это не немецкий журналист, конечно, его очки не умеют ничего распознавать. Ходит с какими-нибудь Ray-Ban Stories, стримит в соседний фургон, где тип сидит и через сайт PimEyes переходит по ссылкам, смотрит, кто кем работает, имена, фамилии и т. д. В общем, всё то, что вы выкладываете добровольно о себе в интернете. В целом, с саммари по списку ссылок можно даже эффективнее собрать информацию.

Сам стартап имеет мутную историю: зарегистрирован на Георгия Гобронидзе, сама компания оформлена в Дубае. Изначально разрабатывался двумя поляками потом был выкуплен через подставную компанию. В общем, просто не удивляйтесь, если какой-то "журналист" к вам подойдёт и будет рассказывать, что вы megavduvatel3000, и сыпать вашими цитатами из соцсетей. Особенно не говорите ему цифры с обратной стороны карты. It's a trap!

@CGIT_Vines

Claude Computer Use прогрессирует и учится взаимодействовать с пользовательскими интерфейсами. В примере показана игра Honkai: Star Rail. На самом деле, любая пошаговая JRPG подойдёт. Я сразу подумал про боёвку в BG3, а в PDF с описанием обновлений модели увидел примеры с Hearthstone. В прошлых постах вы писали про кейсы с покером — возможно, тоже зайдёт, но не играйте на деньги!

В итоге мне, конечно, хотелось бы запустить это всё на песочнице типа Sims и заставить Claude жить его лучшую жизнь😡

Прогрессия в управлении интерфейсами, не сказать, что идёт быстро. Модель всё ещё не умеет скроллить страницы, а без этого понимание того, что происходит на экране, не полное. К тому же разрешение входных скриншотов тоже имеет критическое значение.

Я частенько вижу статьи о том, что скалирование моделей упирается в том числе в нехватку данных. Интерфейсы и игры — это одно из окон возможностей, но куда больше модели смогут получить, если им дадут возможность видеть просто через камеру. В ближайших релизах у OpenAI как раз планируется такой функционал.

Project
Code