Люди продолжают использовать модели не по назначению и добиваются фантастических результатов.

Свежий пример, - Embedding Gemma Transcribe: из эмбеддинг-модели сделали распознавание речи.

EmbeddingGemma 2 от Google DeepMind переводит текст, картинки, аудио и видео в векторы одного общего пространства.
Если произнести слово вслух, его аудио окажется рядом с написанным словом.
Авторы решили читать слова прямо из этого пространства.

Как устроено:
🎧 Аудиоэнкодер EmbeddingGemma 2 оставили без изменений.

🧩 Небольшой «читатель» переносит каждый короткий кусок аудио в текстовое пространство модели.
Дальше выбирается ближайшее слово из словаря примерно в 229 000 английских слов.

✍️ Ещё одна крошечная модель расставляет пунктуацию и заглавные буквы.

Обучали только «читателя»: меньше двух часов на 8×H100, на английской речи с открытыми лицензиями.

Что получилось:
⚡️ Скорость: час аудио за 12.6 с на базовом MacBook Air M3 с 8 ГБ, на Neural Engine. Это 288× от реального времени.
IBM Granite Speech 5.0 TurboCTC на той же машине справляется за 25.7 с, - примерно в 2 раза медленнее.

🎯 Точность: доля ошибочных слов (WER) около 5% против 2–3% у ведущих моделей. Разрыв авторы планируют сократить, лучше обучив «читателя».

💻 Использование: перетащить аудиофайл или зажать правый Option, сказать и отпустить, - текст появится в любом приложении. Аудио не покидает Mac.

Главные выводы:
Мультимодальные эмбеддинги уже несут достаточно информации, чтобы «читать» из них речь, - нужно обучить только маленький переходник.

Пока только английский: и словарь, и данные для обучения английские.

Приложение бесплатное: macOS 14+, Apple Silicon, модели на 715 МБ скачиваются при первом запуске.
Проект независимый, с Google не связан.

Скачать для Mac

#транскрибация #эмбеддинги #gemma
———
@tsingular