Разработчик создал утилиту для текстового поиска сцен в видеоархивах

Инженер Ильяс Хаддад, у которого накопился архив из 2207 GoPro-видео с велопутешествий по Марокко разработал утилиту Edit Mind — локальный инструмент, который с помощью машинного обучения индексирует каждый кадр и позволяет искать нужные сцены обычным человеческим языком.

Программа берет папку с видео и прогоняет ее через несколько этапов. Сначала модель Whisper транскрибирует всю речь. Затем подключается визуальный анализатор: он смотрит видео с частотой 1 кадр в секунду, распознавая лица, объекты, текст и генерируя подробное текстовое описание того, что происходит на экране. Все эти данные превращаются в векторы и складываются в локальную базу. После этого пользователь может написать в поиске что-то вроде "кадр, где я еду по мосту на закате", и система мгновенно выдаст нужные таймкоды.

Расплачиваться за такую автоматизацию приходится машинным временем. Тестовый прогон 628 роликов (669 ГБ, более 15 часов) на MacBook с чипом M1 Max занял суровые 68 часов непрерывной работы. Автор честно признает, что стационарный ПК с видеокартой уровня Nvidia RTX 3060 справился бы с этой задачей значительно быстрее. Тем не менее, это фоновый процесс, который экономит дни ручного труда.

Базовый код проекта уже выложен в открытый доступ на GitHub, а для тех, кто не хочет возиться с консолью, готовится платное десктопное приложение.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX