Как автоматически расшифровать аудио: пошаговая инструкция для Whisper

Расшифровка аудиозаписи — дело утомительное и времязатратное. К счастью, появляется все больше сервисов, которые умеют это делать автоматически. Рассказываем, как это сделать с помощью модели Whisper от OpenAI, и смотрим, насколько хорошо она справляется с русскоязычными записями.

👞 Шаг 0. Готовимся к работе и запуску Google Colab 
Чтобы превратить аудио в текст с помощью Whisper, мы используем Python, потому что своего официального интерфейса у модели нет. Проще всего это сделать в Google Colab. Когда вы завели Colab-тетрадку, нужно настроить её так, чтобы она не «засыпала».

👟 Шаг 1. Загружаем аудио
Здесь мы напишем о самом простом, но и самом долгом способе загрузить файл. Его нужно просто выбрать с компьютера при помощи готовой функции из библиотеки files и вставить код из нашей инструкции.

👡Шаг 2. Делаем из аудио текст
Когда файл загружен, можно запустить программу, которая установит Whisper, применит его и запишет результат расшифровки в txt-файл. После этого останется открыть получившийся текст и поправить то, с чем машина не справилась.

🛼 Шаг 3. Метод Кондо: чистим текст
К сожалению,  реплики собеседников придется разделять вручную, так как Whisper их не различает. А ещё кое-что придется переписать, потому что некоторые слова Whisper распознает неправильно (например, нам он предложил миросети вместо нейросетей). А вот знаки препинания Whisper расставляет неплохо, но иногда своеобразно. Например, придется разделить длинную фразу на пару предложений покороче или добавить тире. Наконец, названиям придётся добавить кавычки, но… это всё равно займет намного меньше времени, чем расшифровка вручную.

Скопировать необходимые коды и найти ещё два способа загрузки аудио (более сложных, зато более быстрых) можно в статье на сайте.

🤖 «Системный Блокъ» @sysblok