Rublev CG/AI

Minimax Studio v6

Миллион багов исправлено и некоторые заметные изменения:

- Добавлена новая модель Bonsai 2. У нее куда больше параметров поэтому соображалка у неё лучше.
- Теперь три режима работы - По тексту, первый/последний кадры, референсы,
- Новый декодер поставил. Если проще - последний этап генерации теперь проходит намного быстрее.

Так же наконец-то записал небольшой тутор как этим пользоваться:
https://www.youtube.com/watch?v=Z-PGvTnLAqg

Так же хотел сказать огромное спасибо всем кто помогал тестировать в чате ❤️
И отдельно Никите @zanmaer за то, что всегда делится полезным в группе. Он косвенно, но сильно помог с инфой.

Дэмку собрал просто из тестовых кадров генерации по тексту. Прошлые версии программы удалены.

СсылОЧКА:
https://disk.yandex.ru/d/70CLclRsfopWqg

Я, @rublev_cgai, @bubsen_masters, @etoaivan соберемся, чтобы пообщаться на насущные вопросы.

Летс гоу, сегодня в 18:00:

https://youtube.com/live/nQ9mlYKbhJM?feature=share

Продолжаем по прошлым темам + почитаем некоторые комменты по последнему ролику.

Тизерок полного метра от Blender Studio❤️

https://www.youtube.com/watch?v=39h7ZJbRcsw

Minimax Studio v5.5

Итак, предпоследняя версия данной софтины поэтому было бы прекрасно, если бы кто то нормально потестировал на слабых компах и отписал бы мне в группу. Дальше на базе этого будет аля агрегатор из нейронок под разные задачи локальный. Всё в одном.

Основное из нового:

- Добавил квантизацию контекста для ассистента. Если проще - теперь на слабых компах жрёт меньше видеопамяти и не зависает.
- Теперь можно вставлять рефы в сам чат ассистента чтобы просто описать, не вставляя их в рефы для генерации видео.
- Лоры и основную модель можно менять на свои,
- Голосовой ввод в местах, где актуально (горячая клавиша R или К в русской раскладке),
- Отдельные папки для разных проектов в галерее,
- Вставка изображений из буфера обмена на ctrl+v,
- DLSS вкрячил на поиграться. Не самый лучший вариант апскейла, но пусть будет,
- Ну и так по внешнему виду чуток причесал.

Стало стабильнее. Тестировал на своей 3060 12гб. Никак не найду время чтобы записать видосом нормально как пользоваться, к последней версии запишу точно.

СсылОЧКА:
https://disk.yandex.ru/d/dOFm-SOlpvHG6w

Это. Было. Ахуенно.

Всем спасибо❤️

Вот и первый форк Minimax Studio 👏🏻

От автора:

Изначально в проекте были генерация MiniMax H3 и локальный ассистент. Я расширил студию и превратил её в единое приложение для генерации и улучшения контента.

Что добавлено:

— интеграция DLSS 5 Visual Enhancer v7;
— быстрый апскейл изображений и видео через DLSS;
— генеративный апскейл фотографий: FLUX + PuLID, SUPIR, VOSR 2.0 и PiSA-SR;
— генеративный видеоапскейл SeedVR2;
— интерполяция кадров и повышение FPS;
— режим обработки прямых эфиров;
— сравнение результата «до/после» и цветокоррекция;
— выбор сгенерированных в MiniMax видео прямо в апскейлере, включая превью;
— профили производительности для RTX 4090 и RTX 3090;
— автоматическая установка моделей в нужные папки;
— русская локализация интерфейса и встроенные инструкции;
— новый тёмный сине-фиолетовый дизайн в едином стиле.

Автор: @kkammera

СсылОЧКА:
https://disk.yandex.ru/d/y09Lgh78xSsH9g

П.с. кайф когда люди берут и под себя допиливают. Так и надо. Вайбкоддинг хуйня говорили они.

Чё дальше с Minimax Studio?

Решил, что нужно поделиться чуть чуть планами. Первостепенное сейчас это - скорость и стабильность работы на средних-слабых компах. Нейронка крутится - приложуха мутится. И так то оно так, но отлаживать всё это и тестировать приходится кожаными ручками. Поэтому не так быстро как хотелось.

Следующий этап - это добавить то, чего очевидно не хватает сейчас:

- Голосовой ввод для лакшери-вайб-генерилова.
- Конечно же апскейл (с ним сложно, так как хорошие генеративные очень тяжёлые),
- Простая монтажка. Для быстрого прототипирования и накидывания черновика это прям хороший вариант. Тем более для тех кто не шарит в премьерах и давинчах. (напоминаю, что инструмент в первую очередь задумывался для абсолютных новичков),

Это программа минимум для того, чтобы я хотел там видеть по функционалу.

Дальше нужно повоевать за качество генераций. Это вещь такая долгоиграющая и сложная, но думаю победим.

Следующим этапом само собой напрашивается:

- Генерация изображений (крею2 встрою),
- Редактирование изображений (пока лучше флакса2 нет, поэтому будет он. как выйдет крея3 редактирующая и её отдадут в опенсорс прикрутим её),
- Доска аля Miro - недооценённая вещь,
- Генерация музыки, звуков.

Это будет некий локальный агрегатор нейронок (надеюсь удобный). Вот примерный план дальнейший раз-JOB-ок.

https://youtube.com/live/CMOCiTwR7Ss

Завтра соберёмся лампово поговорить о том, чё такое нейрослоп, что происходит в сфере графики, куда всё идёт и просто поугараем. Залетайте)
пост

Стрим во вторник!!!

Я, @artalize_lab, @rublev_cgai, @bubsen_masters, @etoaivan соберемся, чтобы пообщаться на насущные вопросы. Их скопилось оооовер дохера за это время.

Обсудим зачем сейчас вообще учить 3D, поразгоняем куда сейчас податься, куда двигается весь наш рыночек, новую модель Minimax, которую Женек собирает для вас и многое другое.

Запасайтесь поп корном, вы знаете - у нас грустно не бывает 🤣

В 18:00 по МСК.

Ссылочку добавлю завтра, не пропустите)

Можете скидывать в сообщения группы свои генерации. Интересно у кого что получается. И укажите свои железки аля:

- RTX 3060 12гб,
- 32 RAM,
- 5 сек,
- 1080р,
- Время - 4 минуты
ну и сам видос.

Я потом соберу в одну колбасу и буду выкладывать с описанием вашего железа. Очень полезная тема, чтобы понять на каком железе как работает и что вообще можно выжимать из него. Ну и наглядно будет тем кто не пробовал еще.

Ну либо сюда можно: https://t.me/rublev_cg_dev/16550

Minimax Studio v5

Поработал с распределением памяти. На вёдрах должно стабильнее работать. Из заметного:

- Пофиксил кучу багов ассистента,

- Поработал с памятью, теперь не повисает намертво,

- Просили подключение лор - добавил (турбо лору пока заменить нельзя), и можно основную модель тоже свою подсунуть и выставить её в настройках (мало тестировал пока),

- Добавил в настройки возможность сброса настроек всех на дефолтные, удаление контента, чистка кэша и чатов если вдруг обнулить надо всё (советую это сделать сразу на старте).

- Перенос моделей со старой сборки тоже через настройки. Указываем путь к папке старой сборки (окно выбора папки может появиться за браузером) и жмём кнопку. Готово. Старую папку можно удалить.

- Добавил возможность выбора квантизации для ассистента. Если q4 не тянет комп, то q3 качаем.

- Прибрался немного на вкладке генерации.

Чтобы запустить надо скачать архив, запустить файлом start.bat, затем сразу идти в настройки и качать модели, либо перенести из прошлой сборки тоже в настройках. и уже потом только идти генерить.

Стараюсь делать упор на средние компы и вёдра, поэтому бояре с квантовыми компами сами там навалите себе качества в настройках.

СсылОЧКА:
https://disk.yandex.ru/d/oHhgyY7ugmJBNA

Спасибо всем, кто тестирует и кидает результаты. 🙏

отчет для @Evgeny_Rublev ))
блокинг в блендере, картинки в жпт, ну и тест в лоу качестве. в принципе это то, чего я хотел. 30 минут на всю генерацию. тестируем дальше.

Тесты Minimax Studio от @Evgeny_Rublev 1080p 8сек на моей мобильной 5080 16Gb в среднем выводятся 22 минуты. Видос собран из промта улучшенного встроенным помощником и скормленными рефами персонажа и корабля. По мне результат просто 🔥

Когда-нибудь я доделаю свою домашку для Курса Синематиков, который я проходил 😅

Если кто себе поставил и есть желание продвинуть программулю пишите какие баги/ошибки обнаружили сюда: https://t.me/rublev_cg_dev/4
Там по заявке из за ботов, но добавляю всех живых.

Этот пост был скорее ответом на вопросы, но раскрывает главную мысль.

"Чтобы стать специалистом в любом деле в первую очередь нужно овладеть фундаментальным знанием и опытом а не инструментом."

Чтобы стать хорошим фотографом не нужно начинать обучение с покупки дорого профессионального фотоаппарата. Чтобы стать профессиональным гитаристом не нужно покупать гитару за лям баксов. Чтобы стать художником не нужны лучшие в мире краски и холст. И так далее. Думаю суть понятна.

Обучение строится на знаниях и опыте. Знания это то, что мы передаём друг другу, опыт это то, что мы получаем сами путём проб и ошибок.

Опыт это всегда проверка гипотез "а что если вот так сделать?". И на первых порах можно просрать кучу бюджета личного это. А можно взять дешёвую/бесплатную альтернативу и набивать руку на ней.

Люди моего возраста и старше помнят, что во времена нашей молодости буквально нихера не было. Не было возможности купить дорогую гитару чтобы просто учиться на ней играть. Но в условиях ограничений люди и на палке с тремя резинками от трусов умудрялись учиться. Я сам не покупал супер дорогой софт и железки для того, чтобы учиться писать музыку. У меня был самый всратый пентиум, гитар про и ублюдские колонки. Этого за глаза хватило чтобы понять фундамент. И только после этого имеет смысл вкладываться в дорогие инструменты.

Так же можем вспомнить из какого гавна и палок делали первые VFX в фильмах. И к слову это было золотое время кинематографа. До сих пор большинство фильмов того времени выглядят достойно даже сейчас. Тогда просто не было инструментов, но это не мешало делать ахуенно.

Не учите инструменты и кнопки, пытайтесь понять фундамент. Знания и опыт можно и нужно получать в условиях ограничений, проверяя гипотезы наименее затратными средствами.

Minimax Studio V4

Куча мелких исправлений. Все писать не буду. Если кратко:

- Ассистент теперь "видит" не только картинки, но и видео и аудио,
- Пофикшено много багов,
- Оптимизировал переключение между LLM и Minimax,
- Превьюхи при наведении в промптах теперь и на видео,
- Добавил новые инструкции Ассистенту,
- Куча мелких исправлений UI.
- В настройках дублировал все ссылки прямые на модели, если HF недоступен.

П.с. чтобы модели не перекачивать, можно всю папку "models" просто перекинуть из старой версии в новую. Если будет спрос на эти поделки сделаю автообновы из самой программулины.

СсылОЧКА:
https://disk.yandex.ru/d/hXpMRMGkWAIiFg