Runway vid2vid

Один из немногих поводов купить безлимитную подписку на Ранвей.

Смотреть со звуком.

Собрал в небольшом шоуриле примеры решения проблем для своих рабочих шотов, которые мне не удавалось собрать через img2video. Тут и эмоции, и шаг персонажа назад, его активное жестикулирование, листание страниц книги, бегущая в отдалении фигура и т.д.

Референсное видео тащит.

Нюансы:
• у меня наотрез отказывается генерить ч/б кадры;
• некоторые специфичные пространства, например улица города в древнем Китае, генерятся в виде плохой 3D игры;
• без прописывания расы персонажи склонны темнеть – я в начале и руки с книгой, как пример;
• ОЧЕНЬ нужна возможность добавлять референс на стиль отдельной картинкой, промпт на стилистики очень ограничен.

Итог:
довольно капризный инструмент с громадным потенциалом для будущего.