Пока админ перебиралась по работе на Балканы, тут челики из лабы Сингапурского университета представили Kiwi-Edit — опенсорс фреймворк для редактирования видео, который объединяет и текстовые инструкции, и визуальные референсы.

Что прикольного:
☝️ можно редактировать видео просто текстом (например, «замени куртку на синий пуховик») или загрузить картинку-референс, чтобы модель сама скопировала стиль или объект оттуда.
☝️ в отличие от многих аналогов, Kiwi-Edit отлично (ну правда неплохо) справляется с точечными задачами. Например, добавить шляпу на персонажа, не ломая всё остальное. Хотя свои артефакты внесёт.
☝️ позволяет сделать неплохой рестайл видео, сохраняя при этом движения героев. Но опять же качество выходного видео будет ниже исходного.
☝️ поддерживает разрешение 720p и в целом нет "мерцаний" от кадра к кадру.

Если копнуть в архитектуру и детали: модель построена на связке мультимодальной языковой модели (MLLM) и диффузионного трансформера (DiT). Это позволяет ей буквально понимать структуру сцены и ваши пожелания для редактирования.

Разрабы данной модели выложили в открытый доступ не только код и веса моделей, но и огромный датасет на 477 тысяч примеров. Так что однозначно +реп.

Примеры работы есть у них на сайте, а также есть поднятая gradio-демка, так что сами можете потестить. 🥂