Забудь про Whisper: русская диктовка работает мгновенно и без видеокарты

Автор краем уха услышал, что у Сбера есть открытая модель, которая на бенчмарках по русскому уделывает Whisper. Пошёл проверять — и оказалось, что она не просто не сливает, а шпарит моментально на обычном камне, без GPU, текст вылезает раньше, чем успеваешь отпустить клавишу. Потом сколотил диктовку для себя, скинул корешам, те подсели, посыпались хотелки — и за пару недель из этого вырос полноценный продукт.

Жмёшь правый ⌘ command, говоришь, отпускаешь — и текст с запятыми и заглавными уже воткнут туда, где стоял курсор. Цифры: фраза на 6 сек вставляется за 0.08 сек, запись на 30 сек распознаётся меньше чем за полсекунды, модель подгружается 0,22 сек. Всё локально, звук никуда с компа не уходит, модель весит 204 МБ, приложение 32 МБ, крутится на процессоре, видюху не трогаем, код открыт, лицензия MIT. С именем выпендриваться не стал — раз пишет под диктовку, пусть будет Писарь.

Почему Писарь, а не Whisper: Whisper — модель прекрасная, но она универсал на сотню языков, и русский там далеко не в приоритете, плюс тяжёлая, на процессоре еле ползёт, поэтому обёртки тащат её на видюху, мак греется, комп тормозит, а текст всё равно приходит с задержкой, да и с русским у Whisper беда — падежи, окончания, пунктуация. GigaAM, на которой собран Писарь, Сбер обучал именно под русский, и на нём она заметно точнее, плюс сама расставляет пунктуацию и заглавные, а английские вкрапления в русской речи (термины, названия) переваривает как надо.

Читать далее

👉 Data Science | Machinelearning [ru]