Давно не писал про клуб… А несколько месяцев назад появилась возможность использовать второй ПК для видео. И я успел поиграться с нейросетью в реальном времени благодаря TouchDeffusion. Ранее уже писал о своем “нейровиджеинге” на прошлый Хелловин. Тогда я целую неделю генерировал видеоролики, а теперь настало время генераций в реальном времени с приемлемым fps. Разрешение картинки получается маленькое, но на моих экранах этого не особо заметно. Качество генерации получается на уровне 22 года, но зато это реалтайм.

1️⃣Видео 1. Основной экран в клубе находится на сцене и в центре ограничен конструкцией со световыми приборами. Поэтому центральную часть использую как основной элемент, а все остальное как фон.

🔤Для фона использовал генеративки или просто видеоролики, работающие от музыки, которые отправлял на обработку в нейросеть и уже обработанное видео шло как фон на экран. *️⃣ Вот такой получился фон *️⃣

🔤Для центральной части экрана использовал сигнал с камеры, направленной на сцену с артистом или на корзины с девочками гоу-гоу, обрабатывал через нейросеть.

2️⃣ Видео 2. Экран в баре. Иногда там происходят танцы на пилоне и это тоже можно отправить в нейросеть.

🔤Все изображение "красил" в цвет изображения с камеры, чтобы сочеталось со световыми приборами. Плюс немного эффектов под музыку на постобработку.

❗️ Таким образом, я мог в реальном времени регулировать силу обработки нейросетью трансляции с камер и на каждую песню писать промпт, который мне приходил в голову, чтобы менять оформление: пишу flowers и все на экранах в цветочках, пишу sci-fi и все на фантастическую тематику и т.д. 🦋

На все про все у меня было четыре ночи, писал патчи на обработку в Touchdesigner прямо в клубе. Не знаю, заметил ли кто-то еще все это богатство, но лично мне было очень весело и интересно, а это считаю в таком деле самым главным 😏

Прикладываю, что смог сам снять вживую и несколько "рендеров".

❗️А вот видеоурок как установить и настроить Интерактивный Stable Diffusion в TouchDesigner.