Stability AI заходят в анимацию.

Выпустили SDK (software development kit) для генерации локально через веб-интерфейс или в Colab. Для генерации можно выбрать любую модель, включая Stable Diffusion 2 и SDXL. Длительность не ограничена.

Вариант генерации:
* Text-2-animation: генерация видео по только по текстовому промту
* Text+image: генерация на основе промта и реф картинки
* Input video + text input: генерация на основе промта и реф видео

Важное: для генерации нужно подключение к серверам Stable Diffusion, то есть нужен их API. Его можно достать зарегавшись в DreamStudio.

Генерации платные. При стандартном значении (512x512, 30 шагов) с использованием модели Stable Diffusion v1.5 анимация, состоящая из 100 кадров (около 8 с), использует 37,5 кредитов. Если поставить разрешение 1024x1024, то цена за операцию будет 0.23 кредита ($0.0023), а в режиме 3D рендера 0.696 кредита ($0.00696).

Анонс
Установка
Гайд по анимации
Colab