Канал Яндекса о технологиях и людях, которые их создают.
События: https://events.yandex.ru/
Каналы Яндекса по стекам разработки: https://t.me/addlist/Hrq31w2p1vUyOGZi
________________________________________________
Номер заявления в РКН: 4962241172
Post #1687
3.48K

🔎 Как уместить Алису в наушнике
Привет, это Григорий Афанасенко из команды голосовых технологий. Я хочу рассказать про новый гаджет Яндекс Дропс — первое носимое AI-устройство с Алисой. Чтобы уместить такую функциональность на столь маленькое железо, нам нужно было решить множество задач.
Сегодня сконцентрируемся на одной — споттере. Это система голосовой активации. Когда вы обращаетесь к устройству, оно должно распознать вас среди окружающего шума и сразу быть готовым выполнять указания. На колонке это легко: несколько микрофонов, стабильное питание от розетки, хороший процессор. В наушниках всё не так.
Что мы сделали:
🔴 Чтобы не крутить споттер всё время, наш пайплайн работает в два этапа. Сначала Voice Activity Detector (лёгкая модель) отделяет голос от фонового шума. Крутится постоянно, почти ничего не стоит. А споттер включается, только когда VAD услышал голос. С таким изменением нагрузка на систему упала в 5 раз.
🔴 Дополнительная экономия — режим master-slave. Голосовой активацией занимается только один наушник, второй уходит в режим пониженного энергопотребления. Если заряд одного снижается, роли меняются. Синхронизация по Bluetooth, нагрузка минимальная. В итоге потребление на голосовую активацию сократилось в 1,8–2 раза.
⏩️ Но это ещё далеко не всё. После этих шагов мы занялись ML-задачами: сжимали модель, собирали данные для обучения и оптимизировали архитектуру. Об этом читайте в моей статье на Хабре.
Подписывайтесь:
💬 @Yandex4Developers
Привет, это Григорий Афанасенко из команды голосовых технологий. Я хочу рассказать про новый гаджет Яндекс Дропс — первое носимое AI-устройство с Алисой. Чтобы уместить такую функциональность на столь маленькое железо, нам нужно было решить множество задач.
Сегодня сконцентрируемся на одной — споттере. Это система голосовой активации. Когда вы обращаетесь к устройству, оно должно распознать вас среди окружающего шума и сразу быть готовым выполнять указания. На колонке это легко: несколько микрофонов, стабильное питание от розетки, хороший процессор. В наушниках всё не так.
Что мы сделали:
🔴 Чтобы не крутить споттер всё время, наш пайплайн работает в два этапа. Сначала Voice Activity Detector (лёгкая модель) отделяет голос от фонового шума. Крутится постоянно, почти ничего не стоит. А споттер включается, только когда VAD услышал голос. С таким изменением нагрузка на систему упала в 5 раз.
🔴 Дополнительная экономия — режим master-slave. Голосовой активацией занимается только один наушник, второй уходит в режим пониженного энергопотребления. Если заряд одного снижается, роли меняются. Синхронизация по Bluetooth, нагрузка минимальная. В итоге потребление на голосовую активацию сократилось в 1,8–2 раза.
⏩️ Но это ещё далеко не всё. После этих шагов мы занялись ML-задачами: сжимали модель, собирали данные для обучения и оптимизировали архитектуру. Об этом читайте в моей статье на Хабре.
Подписывайтесь:
💬 @Yandex4Developers
- 👍 12
- 🔥 9
- ❤ 4
- 🐳 1




















