🔎 Как уместить Алису в наушнике

Привет, это Григорий Афанасенко из команды голосовых технологий. Я хочу рассказать про новый гаджет Яндекс Дропс — первое носимое AI-устройство с Алисой. Чтобы уместить такую функциональность на столь маленькое железо, нам нужно было решить множество задач.

Сегодня сконцентрируемся на одной — споттере. Это система голосовой активации. Когда вы обращаетесь к устройству, оно должно распознать вас среди окружающего шума и сразу быть готовым выполнять указания. На колонке это легко: несколько микрофонов, стабильное питание от розетки, хороший процессор. В наушниках всё не так.

Что мы сделали:

🔴 Чтобы не крутить споттер всё время, наш пайплайн работает в два этапа. Сначала Voice Activity Detector (лёгкая модель) отделяет голос от фонового шума. Крутится постоянно, почти ничего не стоит. А споттер включается, только когда VAD услышал голос. С таким изменением нагрузка на систему упала в 5 раз.

🔴 Дополнительная экономия — режим master-slave. Голосовой активацией занимается только один наушник, второй уходит в режим пониженного энергопотребления. Если заряд одного снижается, роли меняются. Синхронизация по Bluetooth, нагрузка минимальная. В итоге потребление на голосовую активацию сократилось в 1,8–2 раза.

⏩️ Но это ещё далеко не всё. После этих шагов мы занялись ML-задачами: сжимали модель, собирали данные для обучения и оптимизировали архитектуру. Об этом читайте в моей статье на Хабре.

Подписывайтесь:
💬 @Yandex4Developers