Сейчас произойдёт странное. Я, в кои-то веки, хочу похвалить Сбер.

Вот новость: вчера, четырнадцатого июля, Сбер выкатил новую линейку моделей распознавания речи. GigaAM Multilingual - первая российская открытая модель с несколькими языками. Плюс GigaChat Audio, который слышит эмоции и таймкоды. Всё под лицензией MIT, то есть бери и пихай хоть в коммерческий продукт. Заявляют в полтора-два раза меньше ошибок, чем у ближайших конкурентов.

И как назло, у меня как раз накопились вопросики. Помните, месяц назад я купил Plaud Note Pro и хвалил его тут? К самой железке претензий по-прежнему ноль. Тоненькая, липнет к айфону, микрофоны честно тянут голос с другого конца стола. А вот с мозгами внутри иногда выплывало странное. То фамилию перекрутит, то короткую реплику проглотит. Списывал на сложную запись, но осадочек копился.

И вот, под свежую новость, решил я проверить Plaud не на глаз, а математикой.

Записываешь встречу. Живая речь, фамилии, номера, специфическая лексика - то есть ровно тот случай, где точность распознавания важна.

Прогнал ту же запись через GigaAM от Сбера, локально, у себя на машине. И взял расшифровку Яндекса как эталон, чтобы было с чем сравнивать.

Дальше цифры. WER (это доля неверно распознанных слов) у Plaud против эталона - 31%. У GigaAM - 20%. То есть локальная бесплатная модель ошибается в полтора раза реже облачной, за которую я плачу 30 баксов в месяц.

И там, где Plaud сыпется, он сыпется красиво. Начал запись с фразы «субтитры создавал dimatorzok, спасибо». Никто этого не говорил. Это классическая галлюцинация Whisper - фраза, которая тысячи раз попадалась в обучающем датасете на ютубовских субтитрах, и модель её выдаёт, когда в начале тишина или шум. То есть под капотом у Plaud, похоже, обычный Whisper. Я эту гипотезу проверил ещё и по профилю ошибок - совпало один в один.

Короткие реплики он тоже глотает. Был живой обмен «отправьте - я могу сама - да, отправьте» - Plaud его просто не услышал, а GigaAM вытащил целиком.

Крутится оно локально, 40 раз быстрее реального времени. Есть, конечно, и обратная сторона. Это не облако, куда закинул и забыл. Хочешь перегнать запись, которая не понравилась, - запускай ритуал репроцессинга сам, ручками. Но зато без чужого сервера, где непонятно кто читает твою встречу.

———

Получается забавно. По большим языковым моделям Сбер провисает здорово, тут без иллюзий. А вот на распознавании русской речи, которое можно гонять локально, у себя, внезапно оказался ощутимо лучше тех, кого принято считать эталоном. Аутсайдер вышел вперёд ровно там, где я не ждал.

#ITЕгерь