Улучшаем транскрибацию и пунктуацию Whisper

Не могу с вами не поделиться. У нас стартовал Кэмп, и на первых занятиях мы рассматривали голосовые модели для распознавания речи.

Пользователи Windows часто используют для этого Handy, но там голый Whisper Large v3, которому на русском тяжело дается пунктуация. Текст идет сплошняком почти без запятых, в паузах модель иногда сама дописывает что-нибудь вроде Продолжение следует.

Так вот. Есть улучшенная сборка Handy под названием klava-nevinovata, ее сделал Егор Соколов. Главная фича там в поле Transcription Prompt. Whisper воспринимает промпт как текст, который уже прозвучал до записи, и дальше пишет в том же стиле. Даешь ему пример фразы с запятыми и английскими терминами латиницей, и модель начинает расставлять знаки и перестает писать некоторое кириллицей. Для русского уже есть готовые пресеты, выбираешь один из списка и все.

Сверху куча мелочей, которые на Windows обычно бесят. Горячая клавиша больше не глохнет, повторы и выдуманные фразы вычищаются, а буфер обмена после вставки возвращается таким, каким был. Историю и настройки сборка при первом запуске сама забирает из Handy, так что начинать с нуля не придется.

Собрал по сборке гайд, забирайте. Там по шагам разобрано, какую модель брать под ваше железо, где закрепить русский язык и какой пресет промпта выбрать.

Участница Кэмпа осталась очень довольна, уже протестировали. Забирайте тоже!
===
💬Это пост из ленты, которую читает Саша - автор канала Мальцев: Карьера. Маркетинг. AI. @maltsevprosto

Другие каналы по темам:
🤖 AI @maltsevdaily
🧑‍🎓 Карьеры @maltsevdailyc
🦹 Маркетинга @maltsevdailym