Performance artist

Является ИИ-генерацией. Часть 1

Так, мерч Владивостока.
Проект, который сожрал у нас 5 месяцев, с февраля до конца июня. Делался совместно с Vladivostok Design Week.

Задачей было сделать красивые вещи, которые можно носить на себе и с собой туристам и гостям города.

Почему-то во Владивостоке любая сувенирка выходит убогой: маяк, тигр, чайка, два моста. Плюс уродские транспортные карты – тоже с мостом и чайками. Надо было что-то с этим делать и мы взяли на себя.

Главной ошибкой было решить, что мы будем использовать нейросети где только возможно. Типа это добавит проекту модности и шума, ага.

Сначала было норм. Настя @avaeyl с помощью GPT-4 выделила несколько черт Владивостока, которые отличают его от других портовых городов. Например, у нас есть целых два месяца в году, когда в городе стоят плотные туманы.
Там же выбрали три символа, которые хорошо смотрелись визуально: гребешка, морского ежа и японскую морскую капусту.

А потом мне пришло время генерить их в Stable Diffusion...

#GPT4 #процесс #мерчVVO

Запустили сайт студии

https://strangemagic.studio/

Наконец-то удобно показывать свои проекты. 4 года работаем, как студия, а полагаемся только на сарафанное радио. Непорядок, теперь исправились.

Не всё на сайте связано с нейросетями, в основном там графический дизайн.
Вообще, за последние три месяца я ещё больше убедился, что генеративные сети с картинками помогают в процессе, а не являются финалом.
Тебе придётся или дорисовывать столько, что это уже будет самостоятельное произведение, как в работе с Fat Tiger.
Или рисовать всё заново в Иллюстраторе или Синеме4Д – тогда генерация идёт референсом, как с бумажными иллюстрациями.

И только Zuma и мерч Владивостока (о нём далее) остаются чисто нейропроектами.

#процесс #strangemagic

Ещё один шаг встраивания нейросетей в рабочий процесс. Статья-рекомендация «Как правильно цитировать GPT в научных статьях».

Понравился момент, что можно указывать компанию OpenAI как соавтора цитаты. А GPT хоть и чат, поэтому требует кавычек при цитировании, но при этом ещё и алгоритм, которому их не полагается.

Читать тут:
https://apastyle.apa.org/blog/how-to-cite-chatgpt

#chatgpt

Генератор QR-кодов с картинками

Стоило мне написать, что у мене не получилось сделать стабильно работающие генерации с QR кодами, как на следующий день подвезли неплохое решение на HugginFace.

За основу тут взяли StableDiffusion 2.1, из-за этого пришлось залезть в архивы старых промптов из октября 2022, иначе получалась какая-то каша.

Работает стабильно, но приходится очень тонко подгонять баланс между читаемостью кода и приятностью картинки. Не угадал со значениями – и получил просто код с какими-то элементами. Или хорошая картинка – а код отказывается читаться. Нужно долго и кропотливо подбирать эти цифры. Причем с разными промптами приходится всё начинать заново.

В галерее рабочие примеры без правок. Портреты надо дотягивать, лица кривые, но это голый SD 2.1, что вы хотели.

#qrcode
#stablediffusion

Мокапы с новым ControlNet

Вместо того, чтобы собирать картинки для примеров по всей сети и подгонять их под задачу, можно сгенерить свои собственные и сделать из них пак для студии. Вот тут мы с @Avaeyl сделали примеры оформления любого мерча для презентации.

Как основу, я брал фотографию рандомного чувака из поиска Гугла. С помощью ControlNet Openpose извлекал из фото скелет персонажа и главное – контуры лица с контрольными точками. И затем генерил персонажей под задачу и стилистику в разных моделях StableDiffusion, меняя им облик по своему желанию.
Конечно, все эти генерации необходимо в отдельных местах править и что-то им дорисовывать, но такой работы стало сильно меньше, чем было 3 месяца назад.

#controlnet
#stablediffusion
#мерч

QR-коды внутри генераций

Дела недельной давности. Я попробовал разобраться с генерацией QR-кодов внутри изображения, но так и не смог получить сколько-нибудь стабильные результаты. Дилемма: или код, которые работает, или приятная картинка. Что-то посередине получить невероятно трудно, да ещё и работает оно через раз. Никакой стабильности.

Я потратил на эти эксперименты 10 часов вычислений – и в итоге сдался. Теперь жду специально натрененый на QR-коды ControlNet, подробный пайплайн мне тоже не помешает.

#stablediffusion
#qr

MusicGen – наконец-то рабочий генератор музыки

Плюсы:
- ставится на комп, нужно 11 Гб видеопамяти;
- генерит что-то осмысленное и длинное. Треки до 1 минуты более-менее слушабельны, в идеале 15-30 секунд;
- МОЖНО ДОБАВИТЬ АУДИО-РЕФЕРЕНС! и подогнать генерацию под нужное звучание;
- знает необычные стилистики и даёт выделить конкретные инструменты;
- Clear sound в промпте сделает звук почище, но не везде;
- Инстаграм на такие треки у меня не ругается.

Минусы:
- чистый звук в ограниченном наборе жанров. Лучше всего справляется с синти и электро, рок и джаз тоже неплохо, остальное как повезёт;
- непонятные настройки, первые две по сути друг друга дублируют, у меня так и не получилось понять, в чём разница;
- эти же настройки по разному влияют на разные жанры, что сильно запутывает. Надо долго и внимательно подбирать цифры под задачу.

Классный инструмент.

Качать и ставить отсюда. Если комп не тянет, есть Колаб, но там максимальная длина трека 30 сек.

#musicgen

Стендалон приложение Nijijourney

Позавчера мне дали доступ к бетке Niji для телефонов. Полностью новый интерфейс, промпты можно писать без /imagine, теперь так называется обычная вкладка с текстом. Удивило, что в поддерживает ещё три языка – кроме английского появились японский, корейский и китайский.
Но главное, что тут я вижу следующий этап развития – постепенный отход от Дискорда. В продвинутых настройках теперь можно будет выбирать не только движок Niji, но и Midjourney. Буду тестить, насколько это удобно, так то мне и Дискорд на телефоне не особо мешал.

#nijijourney
#midjourney

Анимация персонажа в нейросетях

Вместе с @kyoukobu я сделал вот такого психоклоуна по заданию от видеостудии, которая очень хочет работать с Netflix. Мы тестируем возможности вставки в 3D-фильм небольших кусочков генераций из GEN-1.

Сначала на основе небольшого ТЗ от студии мы сделали варианты персонажей в Midjourney.
Затем нарезали 4 секундные кусочки видео с жонглерами из YouTube.
И наконец смешали эти видео с картинками MJ в GEN-1.
Полученным роликам сделали реверс для удлинения хроно и сшили в один.

В примерах ролик, картинки и видео рефы.

#video2video
#gen1
#midjourney