Уверен, если вы генерировали что-то в ИИ, то точно знаете, что добиться реалистичной картинки сегодня проще, чем сделать классный звук. Очень часто именно звук и выдает ИИ-ролик.
Где-то играет музыка, которую вы вообще не просили, шаги не совпадают с шагами. Дверь хлопнула, а звука нет. И ролик сразу выглядит как нейросеть и т.д. Примеров на самом деле очень много.
Выход здесь - либо делать отдельно весь саунд дизайн, либо совершать бесконечное ппыток генерации, что, конечно, не очень хочется из-за стоимости роликов.
В ответ на эту проблему Mirelo выпустили SFX 2.0, и это ровно вот про это.
➡️ В чем суть:
Вы загружаете своё видео, а нейросеть его смотрит и делает к нему звук. Не просто какой-то фон, а полноценный саунд-дизайн под то, что происходит в кадре.
🟢Что она делает:
Убирает музыку, которую модель сама добавила в ролик, оставляет диалоги, голоса не трогает, добавляет звуки строго под действие: шаги, удары, ветер, машины, посуду + держит звук одинаковым по всему ролику, даже если он длинный.
Последний пункт важнее, чем кажется. Обычно, когда склеиваешь ролик из нескольких генераций, звук в каждом куске свой. Тут он остаётся цельным.
➡️ Уже работает в Runway и на fal, а ещё через API для разработчиков. На других платформах обещают скоро.