Рубрика «Егор тестирует нейросети» снова на связи. Сегодня буду рассказывать вам о том, как расшифровать аудиозапись в текст.

Немного контекста: сейчас я помогаю одной конференции с контент-маркетингом, и в рамках продвижения мы делаем интервью со спикерами, которые будут выступать на конференции.

Те, кто работал в медиа знают, что пообщаться со спикером под запись — это самое легкое, что можно сделать. После общения идет нудная часть с расшифровкой записи и превращения ее в финальный текст. А чтобы сделать это, нужно несколько раз переслушивать интервью и уложить поток мысли спикера в понятные абзацы.

Я решил ускорить этот процесс и попробовал подключить к расшифровке нейросети, как онлайн сервисы, так и оффлайн ИИ-шки, которые работают локально на компьютере.

Из онлайн сервисов мне понравился «Писец» — все довольно удобно, можно выбрать количество спикеров, а на выходе получаешь вордовский файл для редактирования. Есть бесплатный триал на 30 минут, но дальше попросят денег.

Для тех, кто такой бережливый, как и я, есть нейросети, которые можно поднять локально на машине. Я воспользовался нейросетью Whisper, которая справилась с задачей довольно неплохо.

Из плюсов:

- Бесплатно
- Довольно четко распознает речь
- Относительно быстро. Аудиофайл длиной в 40 минут нейросетка расшифровала за 40 минут, включая скачивание модели весом в 3 Гб.

Из минусов:

- Нет деления на количество спикеров (думаю, что решается надстройкой на моделью)
- Не потянет на слабых компьютерах. Мой мак с M1 на борту довольно сильно нагрелся, пока расшифровывал аудио.

Ставил Whisper через софтину, которая называется Pinokio. Она все делает автоматом и разворачивает локальную страницу с графическим интерфейсом. Через Pinokio, кстати, можно установить и другие опенсорс нейросети, вроде StableDiffusion и инструменты, например, для создания дипфейков.

Ссылка на Pinokio: https://pinokio.computer/

Ссылка на Whisper: https://github.com/openai/whisper

Ссылка на Писца: https://pisec.app/transcription/

P.S. Расшифрованный нейросеткой текст все равно нужно редактировать, так что пока волшебной пилюли не изобрели. Но сам процесс стал однозначно быстрее.