Whisper может понять, что сказано.
Но сам по себе он не знает, кто это сказал.
Даже если система разделит разговор на:
SPEAKER_00
SPEAKER_01
SPEAKER_02
она все еще не понимает, где среди них я.
Для этого в VoxBase спроектирован отдельный слой: Voice Reference.
Его задача:
разделить говорящих
› сравнить каждый голос с моим эталоном
› пометить Me / Other
Сначала я записал несколько образцов своего голоса:
• iPhone
• микрофон Mac
• разные условия записи
• по 1–3 минуты речи
Из этих записей система создает не текст и не аудиокопию, а voice embedding. Это числовой отпечаток голоса.
reference = embed(my_voice)
for speaker in speakers:
score = similarity(embed(speaker), reference)
me = speaker_with_highest_score
• embed() превращает голос в набор числовых признаков
• similarity() сравнивает каждый найденный голос с моим референсом
• голос с наибольшим совпадением получает метку Me
• остальные становятся Other
Полный pipeline выглядит так:
запись разговора
› pyannote делит её по говорящим
› SpeechBrain создаёт embeddings
› VoxBase сравнивает их с моим голосом
› Whisper добавляет текст
На выходе может появиться уже не безличная стенограмма:
[00:00:04] Speaker 1: Значит, я хочу понять...
[00:00:09] Speaker 2: Да, давай посмотрим.
А нормальный разговор:
[00:00:04] Me: Значит, я хочу понять...
[00:00:09] Other: Да, давай посмотрим.
При этом система не должна притворяться, что уверена всегда.
В metadata сохраняется score совпадения:
• высокий › уверенное совпадение
• средний › Me, но с предупреждением
• низкий › best guess и low confidence
Это важный принцип VoxBase: не скрывать неопределенность, а сохранять ее вместе с результатом.
Voice Reference добавляет новый уровень.
Сначала VoxBase научился понимать:
где есть речь
Потом:
что было сказано
Следующий шаг:
кто именно это сказал
И здесь транскрипт начинает сохранять структуру разговора.
В следующем посте расскажу, как из VoxBase вырос ClipMind: слой, который превращает TikTok, YouTube и подкасты в такие же текстовые артефакты.
#VoxBase@annsFlow
Оглавление темы 📌
Навигация по проектам канала 📍
Все каналы 🎶
