⌛ Локальный транскрибатор-суммаризатор за час

Короче, еще одна штука, про которую давно хотел тут рассказать, но всё забывал. Не так давно ко мне пришел Арсений и предложил сделать транскрибатор-суммаризатор для собесов.

У нас действительно есть проблема: иногда хочется капитально пройтись по главным вехам интервью и точнее доопределить уровень кандидата. То есть не просто отпулять стандартно, а прям люди заморачиваются — по несколько дней ходят, думают, консультируются в случае сомнений. Короче, собесы у нас топовые и без хуйни.

Но для этого нужно досконально изучать ответы, и всё такое.

Так вот, Арсений рассказал, что, оказывается, есть локальные транскрибаторы, типа Whisper. Ну а про локальную LLAMA не слышал только ленивый.

В общем, предложил Арсению сесть за наброски. В итоге мы сели, и под душевные разговоры Zencoder накидал нам питоновский скрипт строк на 100, который делает всё, что нужно.

1️⃣ Первое, что меня удивило — на моем MacBook Pro 2019 на Intel, без всякой видеокарты и прочих наворотов, транскрибация и суммаризация видоса в 2 минуты заняла всего минуту. Я, если честно, ожидал, что после того, как скину видео, скрипт просто уйдет в закат и достигнет состояния нирваны.

2️⃣ Второе — когда я попросил эту штуку завернуть всё в docker-compose и накидать веб-морду, она справилась за один промпт. Так что вот, можете скачать репу и буквально одним docker-compose up попробовать у себя это чудо техники.

3️⃣ Whisper сам определял язык транскрибации — для этого вообще ничего не нужно было делать.

🍆 На пояснительных дикпиках результат транскрибации вот этой песни. Интерфейс, который вы видите получился буквально за час вместе с бэком и оберткой в docker!

Оно не то чтобы прям идеально всё делает. Там куча ошибок, а под конец появляются какие-то иероглифы. Или добавляет каких-то корректоров (как на первом дикпике), которых там вообще не было.

В общем, пока несерьезно, но я думаю, если подобрать модельку получше, может чуть пошаманить, то можно выйти на более-менее приемлемый результат.

Я просто подбирал модельку, чтобы хоть как-то запустилось у меня. Так что если у вас есть какая-то видеокарточка, там вообще может быть отвал башки.

🅰️ Итого: Короче, такой тулинг теперь можно в базовом варианте собрать за час-два. Это отвал башки!

P.S. Если попробуете запускать эту штуку у себя, имейте в виду: первый запуск может быть долгим, потому что будет скачиваться LLAMA, которая весит пару-тройку гигов. Потом будет проще.