Black Forest Labs добавила точное редактирование в FLUX 3 Video

Black Forest Labs, разработчик семейства визуальных моделей FLUX, добавила в FLUX 3 Video новый режим.

Это модель для генерации видео с синхронным звуком из текста и изображений, а теперь она умеет редактировать уже существующие клипы по обычной текстовой команде.

Главная идея обновления: можно изменить конкретную деталь и постараться не затронуть остальной ролик.

Именно это обычно было слабым местом генеративного видеомонтажа, когда вместе с нужным объектом начинали меняться лицо героя, фон, свет или композиция.

Что умеет FLUX Video Edit [fast]:

• добавлять, удалять и заменять объекты или персонажей;
• менять фон;
• редактировать текст внутри видео;
• менять цвета, материалы и визуальные эффекты;
• заменять или переводить реплики с синхронизацией губ;
• менять само событие, происходящее в кадре.

По внутренним тестам Black Forest Labs, версия [fast] находится среди лучших решений по соотношению точности и цены.

Это заявление самой компании, независимого сравнения я пока не видел.

Цена считается по длительности готового ролика: $0.03 за секунду. Тип правки на стоимость не влияет.

5 секунд: $0.15, около 13 ₽
10 секунд: $0.30, около 26 ₽
15 секунд: $0.45, около 38 ₽

Есть важные ограничения. Исходный клип должен быть не длиннее 15 секунд и весить не более 50 МБ.

Длительность, соотношение сторон и частоту кадров отдельно задать нельзя, они берутся из исходника. Видео выше 720p при обработке уменьшается до 720p. Исходный звук сохраняется, если в промпте не попросить изменить диалог или звук.

На мой взгляд, это полезный шаг именно для производственного процесса.

Не перегенерировать сцену целиком из-за одной детали, а точечно заменить объект, надпись, фон или реплику. Я бы в первую очередь проверял модель на сложных сценах с лицами, движением камеры и мелкими объектами, именно там станет понятно, насколько хорошо она действительно сохраняет всё остальное.

Редактор уже доступен в интерфейсе Black Forest Labs и через API.