стоило мне только начать пилить собственную audio-reactive stable diffusion сборку как оказалось что уже есть подобный проект с очень неплохими промежуточными результатами. при этом основная фишка по задумке авторов - отказ от текстовых промтов и использование картинок вместо них

пост в твиттере
страничка проекта

@тоже_моушн