CGIT_Vines

MagicQuill 🪄 редактор с функцией инпэинта.
Набор из кистей позволяет добавлять, удалять и  перекрашивать отдельные части изображения.

Использовать можно через hugging face или поставить на свою машину локально. Быстро, удобно, бесплатно.

Hardware Requirements
GPU is required to run MagicQuill
Instant prompt guessing ("Draw&Guess") requires ~5GB VRAM
Image editing operations require ~15GB VRAM
@CGIT_Vines

Еще одна работа из института Торонто, выполненная во время стажировки в Nvidia.

Подход выбран довольно простой и оптимизированный. Через описание вершин, записанных в obj файл, если кто не знал, obj файл геометрии — это просто описание последовательности точек в виде координат, записанных просто текстом. Используются пространственные данные, которые уже есть в LLM + дополнительное обучение по туторам на ютубе) Так что помните: с каждым новым записанным обучающим видео вы вбиваете гвоздь в крышечку 😈)

В общем, метод рабочий для простых риалтаймовых представлений, для web, например, работать со сложными многосоставными или органическими структурами так не получится. И еще он хорошо пакуется, потому что это просто текст.

Только не просите его сделать что-то слишком сложное, например, дерево, он не сможет.
Сгенерированные координаты потом вставляйте в поле с визуализацией меша, чтобы посмотреть результат.

Проект
Тут поиграться с проектом
Code

Я не знаю каждого из вас, но есть одна вещь, в которой я уверен абсолютно: что среди вас не найдется ни одного человека, который не слышал бы о Half-Life.

Последние пару недель очень много отдельных новостей: то сделают бесплатной для скачивания весь набор, deathmatch, первый и второй эпизод, (забрать тут), то гейб делает отсылки к цифре 3 с бочками, то вот выпускают двухчасовой фильм об истории игры к 20 летней годовщине. И я, конечно, не хочу ничего сказать, но мыслишки знаете ли закрадываются.

Если вам тяжко с анг., запускайте через Яндекс браузер с неро переводом, и хорошего просмотра.

20th Anniversary

Немного дикого лора из недр 1995 года и Unreal Engine 1.

Чувак удивляется, почему на новостной плашке в Fortnite у него появилась плесень. Sweeney объясняет, что это текстура, которую он в 95 году на 90 мегагерцовом Pentium загрузил в Unreal 1 как дефолтную текстуру, и, когда кто-то из проггеров забывает подгрузить нужную картинку, ставится этот плейсхолдер. ⛔️

Nvidia Research расписали довольно интересную статью про проект Edify 3D.

Если коротко, то это генератор 3D-моделей на диффузии и трансформерах, но отличает его от подобных, Meshy и Tripo, в том, что Nvidia собрала довольно много подходов в одном инструменте, и, если они доведут его до релиза и будут поддерживать, это будет реально полезная продакшен-тулза. Но кажется, Nvidia не софтверная компания.

Как и конкуренты, Edify генерирует необходимые карты PBR, умеет создавать представления объектов с разных ракурсов, в дальнейшем используя их же для текстур, а отсутствующие части между ракурсами аппроксимирует. Тут важно сравнивать, как алгоритм работает с задними частями модели, потому что в imgTo3D это обычно является слабым местом. В textTo3D с этим должно быть проще.

Дальше про сетку. В презентации ретопология, по всей видимости, работает по схожим алгоритмам с Houdini и Zbrush, и справляется в целом неплохо для танцующих анимированных болванчиков, в продакшен такое не потащишь, к тому же для статик-мешей гораздо лучше использовать триангулированную сетку, особенно если это не хард-сёрфейс. Надеюсь, они сделают кнопку переключения this, quads.

Самое крутое — это создание сцен из набора ассетов, что-то подобное пробовал сделать Andrey Maximov с Promethean AI, но без генерации ассетов. Надеюсь, у Nvidia получится.

Проект
@cgit_vines

Продолжая тему реалистичной мимики робо-лиц.


Инженеры из Колумбийского университета запилили интересную робоголову, естесственно, на нейронках, куда ж сейчас без них. Нужны эти нейронки для того, чтобы предсказывать выражение лица человека, с которым ведется диалог. А предсказывать выражение лица собеседника нужно потому, что замедленная мимика робота выглядит неискренней и кринжовой, а то ж нам эффекта зловещей долины не хватает.

Но больше всего понравился метод обучения этой железной башки эмоциям: её тупо поставили перед камерой и позволили совершать случайные движения своми 26-ю приводами, наблюдая за собой. Через несколько часов робот научился соотносить получившиеся выражения лиц с двигательными командами — так же, как люди тренируют мимику, глядя в зеркало. Затем показали железке различные видосы с разными выражениями лиц людей, чтобы обучить предсказывать эмоции по едва заметным движениям частей лица.

Момент, где он кривляется, глядя на себя в зеркало офигенный.

Тут подробнее:

Decart в демку Oasis добавил возможность создавать представления на основе вашей входящей картинки.

Ожидаемо, такой мир довольно быстро начинает деградировать и разваливаться. В следующих версиях обещают сделать его более стабильным. Все инсинуации с будущим оставляю вам в комментариях.

Пробовать всё там же. Свои миры кидайте в комменты — либо картинками, либо видосами.

@CGIT_vines

Offline is new luxury
#PIA

С каждым месяцем всё лучше и лучше. Геймдев все ближе к точке бифуркации.

Ребята из Etchet в сотрудничестве с Decart, на которой выпустили DoomAI, показали Minecraft, полностью сгенерированный, идущий в 20 fps без инпут-лага.

В эту демку можно поиграть вот тут, дождавшись своей очереди; на момент написания её около 100-200 человек.

Кадры генерируются в зависимости от вашего ввода: из интерактива — повороты, прыжки, строительство и разрушение.

Etchet также представили свой чип, который супербыстр для генерации видео через трансформеры, и предупреждают, что 70% контента уже имеют видеооснову, будут иметь ещё больше, в том числе генеративного формата. Эта демка запускается всё ещё на H100 в разрешении 360, и потом апскейлится; на чипах Sohu будут обслуживаться модели 100B+ и разрешением 4K, которые будут супербыстрыми за счёт распараллеливания.

Подробнее в их блоге.
@cgit_vines

Нашёл интересный пример с небольшой перспективой на развитие. Грубо говоря, возможность агента непрерывно смотреть на ваш экран и помогать вам в обучении. В данном случае это десктопная версия ChatGPT с голосовым управлением, но она пока не умеет смотреть на экран.

Прощай, курсы, учившие вас нажимать кнопочки в софте! А потом и в целом курсы, обучающие вас делать что-либо! В который раз убеждаюсь, что не сами знания, а пайплайн получения знаний становится куда важнее.

Мечта интерпренёра — поставить такое в офисе и каждый раз списывать с вас кредиты, когда страдаете херней на работе 🫡. Думаете, не поставят? Конечно, поставят!

Сейчас ещё нет релизнутых моделей (только беты), которые могут просматривать ваше рабочее пространство на компьютере или смартфоне. Claude и ещё пару стартапов пробуют делать это посредством скриншотов, и пока только так. Я думаю, к середине следующего года, но скорее всего раньше, у нас будет что-то наподобие этого концепта, но уже в рабочем состоянии.

Спустя примерно полтора года после того, как Wonder Dynamics присоединилась к Autodesk, они запустили бета-версию тулзы Wonder Animation.

Напомню для тех, кто пропустил: вы можете снимать на свой телефон шоты с актёрами и потом переводить их анимацию в готовые трёхмерные представления. Я даже делал стрим на эту тему полтора года назад.

Создатели сами заявляют, что не поддерживают хайп по автоматическим решениям с кнопкой «сделать красиво», понимают, что художникам нужны широкие настройки в инструментах при работе с ИИ, и предоставляют их, давая художникам полный контроль над анимацией движений, мимики, крупности шотов и, по заявлениям, поддержку бесшовного переключения между крупностями кадра. (Интересно посмотреть, как это работает).

Сегодня наткнулся на интересное исследование, в котором обсуждается, как крупные языковые модели учатся, используя структуры, схожие со строением человеческого мозга. В работе показано, что концепты в ИИ организованы на трёх уровнях: от «атомных» идей до более сложных «кластеров» с общими смысловыми признаками.

Использование автоэнкодеров для представления концептов в виде трёхуровневой иерархической структуры организовывает данные по принципу, напоминающему когнитивные структуры. Это дает языковым моделям возможность более глубоко понимать и генерировать смысловые связи, улучшая их точность и интерпретируемость. В итоге, это создает предпосылки для развития ИИ, способного обрабатывать сложную иерархическую информацию, типо того как это делает человеческий мозг.

Подробнее читать тут

По всей видимости, текущие методы RL не очень подходят для генерации трёхмерных представлений либо тратят слишком много вычислительных ресурсов. Поэтому для новой беты модели Gen-1 RLHF V0.9 использовали Reinforcement Learning with Human Feedback (RLHF): у них, натурально, в штате сидит команда моделлеров, которые раздают вознаграждения.

К слову, генерации на уровне Tripo3D из этого поста — возможно, у Tripo тоже RLHF, но это же не звучит так волшебно, если у тебя разметку делают люди.

На старте дадут 8 бесплатных кредитов, погонять тесты хватит. Для остального есть возобновляемые кредиты у Tripo.

Пробовать тут

В Японии освятили Гандама!
Теперь официально, выходные можете проводить спокойно, человечество под защитой.

А вот тут чувак поместил старую и обновленные модельки sonnet 3.5 в майнкрафт в качестве агента и попросил отстроить что-нибудь.

Слева — старая модель, справа — новая. Тот самый случай, когда claude строит лучше, чем я.

Майнкрафт — тысяч бенчмарков.

Давайте пока охладим траханье на счёт управленческих LLM-систем. Если кто не в курсе, почитайте тут у Дениса.

Если влом читать, то это LLM-агенты, способные "управлять" вашим компом через промпты.

Не знаю, в чём там сложность установки, но я как гуманитарий поставил в течение пары минут.

Попросил создать сферу в Blender — окей, не можешь, давай тогда, может быть, куб? Тоже нет? Окей, я создам сам, просто подвинь его на 5 см вправо. Нет? Бу, испугался?

В общем, моё дело — периодически проверять, теряем ли мы работу или ещё можно пофлексить. И, как видно из видео, для съёмки которого я оплатил API Claude AI, оно того стоило, ага 🤡. Работу пока не теряем.

Блуперы, не попавшие на видео: на просьбу запустить Blender, он настойчиво открывал ZBrush.

Давайте ваши советы, что ещё попробовать! Автору самого интересного и рабочего промпта посвящу пост в канале.

Агента брал с этой репы

О вишенках и реальности

Год радует на громкими словами, а не релизами. Очередной симпатичный релиз от моих любимых Runway ждет нас уже скоро — доступы обещали начать раздавать уже со вчерашнего дня. В этот раз нам обещают шикарный перенос мимики (лицевой мокап), лучше завирусившейся недавно Hedra.

Видео из нового продукта Act-On Runway правда сначала потрясают. Но тестируя как работают другие релизы типа обновления Gen c переносом стиля на кадр, понимаешь, что это годится только пока для мемов и творческого поиска. И на том спасибо.

Применяя это на практике понимаешь, что инструменты из коробочки работают примерно на 20%, в кейсе часто приходится это учитывать, подстраиваясь не под идею, а возможности софта. Например у Hedra, если у героя не очевидные черты лица (а это бывает часто), то инструмент просто выдаст ошибку, перенести точки как-то вручную и помочь ему сориентироваться — никак. Кредиты только так улетают, вне зависимости от качества картинки-движения-реалистичности.

Итого для хорошей работы нужно иметь в арсенале несколько подписок, механику которых ты знаешь можешь приблизительно предсказать результат. Часто возникает ситуация, когда одна механика вырусится, автор или группа авторов начинает работать именно с определенным пайплайном, забивая на содержание и вместо экспериментов и все новых и новых открытий мы получаем нейронный шум. Создатели (или их заказчики) потом еще удивляются, а почему их кейс с пайплайном 2022 года не оценили.

Некоторые коллеги выбирают для своих проектов решения из опенсорса, но в этом случае больше управления несет за собой больше экспериментов, итераций и поломок, что конвертируется во время. Зато результат часто не такой как у всех.

Настоящее и будущее больших открытий и хороших денег как всегда за междисциплинарными кейсами, где используется много нейронок, много не-нейронок, а самое главное человеческий талант. Волшебной видео-кнопки пока нет.

Извините, а SORA выйдет? А мячик можно?

Все: Невероятное использование нейросетей в продакшене, кажется все студии и художники теперь потеряют работу.

Next generation AI: create video of sculpting wooden plank in zbrush

@CGIT_vines
P.S. к слову, он генерил это дней 5