Есть три вида изоляции звука:
• Текст — пишете целевой объект («лай собаки») и получаете аудио-дорожку только этого звука.
Например, так можно вырезать вокал, барабаны, гитару и любые инструменты с максимальной точностью.
• Визуал — просто кликаете (!) на человека или объект в кадре и забираете его звук.
Супер-фича для шпионов — можно подслушать, что говорят люди, даже если в видео очень шумно.
• Span — выделяете временные отрезки, где слышен нужный звук, и модель находит его во всей записи.
Абсолютно новый подход: «поисковик звука», который упрощает работу с аудио в разы.
Ваш личный звукорежиссёр — тут, а код в опенсорс — тут.
@notboring_tech