Как я и ожидал, очень быстро вышло расширение AnimateDiff для Auto1111. Уже пару дней его тестирую.

Хорошие новости:
- Работает на 12 гб видеопамяти. 4070ti генерит по гифке в минуту, где-то в 5 раз быстрее, чем на бесплатном колабе.
- Можно использовать любые чекпоинты, лоры, контролнеты и т.д., в общем любые инструменты, которые нормально работают с batch size > 1.
- Почему-то работает оптимизация SDP, благодаря чему, видимо, и генерится быстро и не кончается видеопамять. Оптимизация через xformers пока не работает.

Плохие новости:
- Качество генерации намного хуже, чем на колабе по трем параметрам. Во-первых, на всех картинках присутствует небольшое мигание по яркости, в результатах с колаба ни разу такого не ловил. Во-вторых, контраст всех картинок заметно ниже. В-третьих, все анимации намного более статичные. В результатах с колаба намного больше движения. Здорово, если бы параметр динамичности можно было регулировать, кстати говоря.
Результаты можно сравнить с предыдущим постом. Автор аддона говорит, что проблема в том, что в Авто1111 иначе происходят некоторые подкапотные процессы, из-за чего возникает такая большая разница. Надеюсь, тут ничего такого, что нельзя было бы починить, чтобы приблизиться к официальной имплементации.

Кстати, к официальному AnimateDiff прикрутили в тестовом режиме интерфейс Gradio, что удобнее чем редактировать файлы и пользоваться командной строкой, но пока работает не очень, не говоря о том, что вразумительной инструкции по установке так и нет, а та, что есть, предлагает скачать 70 гб, которые на самом деле не нужны.

В общем, пока ждем (примерно 2 дня) улучшений и пока пользуемся хорошим колабом. Автор его допилил, в нем стало намного проще разобраться, и теперь генерировать видео может вообще каждый, без каких-то углубленных знаний или мощного железа. Рекомендую всем попробовать, это достаточно просто и весело.