Performance artist

Пробовал в SDXL сгенерить для постера наполовину упавшее дерево с корнями наружу. Не получилось.

И дело тут не в формате кадра – горизонтальный вариант тоже не срабатывает.

Stable Diffusion не понимает, что деревья бывают другой формы, кроме прямостоящих. Ещё и издевается, пишет Falling на картинке – «видимо ты хочешь вот такой текст».

#stablediffusion #неудача

SDXL 1.0 для быстрой генерации

Интерфейс для SDXL – Fooocus. Простой и бесплатный способ погенерить на новой модели.
Есть версия для локальной установки – вот тут.
Я три дня тестил версию в Google.Colab – вот тут.

Плюсы:
~ SDXL 1.0;
~ разрешение до 1700px по длинной стороне. Качество деталей подходит для апскейла в 4 раза;
~ предустановленные пресеты очень хороши. Если ты знаешь, какая стилистика нужна, подойдет очень короткий промпт;
~ можно смешивать до 5 лор;
~ грузит доученные модели SDXL и vae для них;
~ хорошо отрабатывает промпты из PEZ Dispenser (для меня важный момент).

Минусы:
~ интерфейс на Gradio. Может крашиться на ровном месте по непонятным причинам;
~ сгенерить 4 картинки в батче – настоящая рулетка;
~ надеюсь, добавят NGrock;
~ с трудом влезает в бесплатную версию Colab. Даже с Pro версией часто вылетает;
~ максимальное качество генерит очень долго, по минуте на картинку и часто крашится на последнем этапе.

Сойдёт при таких плюсах.

#fooocus #stablediffusion #googlecolab

Генерация музыки берёт новый уровень

Ещё один нейро проект, который стал на порядок лучше за эти два месяца – MusicGen.

Я его тестил в июне. Тогда он мог выдавать приличное качество только в отдельных жанрах. Особенно любил он synthwave. Аудио референс помогал в некоторых случаях, но в продакшен запускать такие треки я не решился.

Сейчас, в августе, MusiGen это СОВСЕМ другое дело. Максимальная длина ролика теперь до 2 минут! Ещё лучше знает промпт, стабильнее держит биты и чище звучит.

С таким материалом можно работать. Я сгенерил часть музыки для ролика про Японию, а Женя классно её замиксовал с видеорядом. Попробуйте отличить, где генерации, а где сэмплы с бесплатных стоков.

https://www.youtube.com/watch?v=Z9CEOi7XW3c

Оператор/монтаж – Евгений Волынец.

#musicgen #video

Проект в портфолио – Детские деревни

Долгострой для швейцарского благотворительного фонда, тянулся 9 месяцев. В начале августа появился первый макет в бортовом журнале S7.

Подробное описание на сайте студии:
https://strangemagic.studio/childrenvillage/

Нейросеть использовалась на этапе подготовки эскизов, чтобы прикинуть, как может выглядеть композиция, расположение фигур людей и предметов. Растения в кадре взяты из Миджорни и доработаны, остальное нарисовано с нуля @GodofHoudini

#midjourney #процесс #strangemagicstudio

А вот примеры с QR-кодами.

Прекрасный рабочий ИИнструмент, за час нагенерил пачку куаров под разные задачи. Придумывать промпты мне было лень, поэтому брал условно подходящие по ключевым словам с Лексики.

Полезное наблюдение – когда делаете QR, старайтесь избегать отдельного персонажа в кадре. При генерации его часто выносит на передний план, а задник заблюривает. В таком виде код ни одна камера не прочитает.

#ControlNet #stablediffusion #Automatic1111

QR Code Monster

В мае я пытался победить проблему с читаемыми QR-кодами своими силами. В итоге сдался и написал, что буду ждать дообученного варианта КонтролНета под такую задачу.

Вот, пожалуйста, всё работает.

Если смотреть на картинки вблизи, текста не видно. Но если прищурить глаза или отодвинуть экран, то будет читаться.

Расширение для ControlNet устанавливается в Automatic1111 легко и просто, качать отсюда.

Теперь можно вписывать любые символы, текст, куар-коды прямо в генерации. Попробую что-то сделать в этом ключе для нашего мерча в ближайшее время. Принты для футболок или шоперов, например.

#ControlNet #stablediffusion #Automatic1111