🚗 Поговорим об UMO 5

На связи Миша Чарзавакян, руководитель разработки Яндекс Электро, и Лёша Косенко, технический менеджер Яндекс Авто. Хотим рассказать, что под капотом у нового электромобиля UMO 5 с технологиями Яндекса 🙃

🅰️ Connected Car

Это удалённое управление через Яндекс Станцию с Алисой или мобильное приложение UMO: согреть салон зимой в минус 15, проверить состояние и отправить команды.

У каждого современного автомобиля есть блок телематики, который отвечает за взаимодействие с внешним миром. Мы пошли не по пути прямой интеграции бэкенда с этим блоком, а сделали cloud-to-cloud. Наш бэкенд общается с сервером партнёра, а тот — уже с телематикой.

Также есть режим PRO для такси: система сама фильтрует заказы с учётом остаточного пробега батареи и зарядных станций поблизости.

🅰️ Ключевая технология — AI-ассистент Алиса

UMO 5 — это первый электромобиль, в котором она управляет не только мультимедиа, но и всем, что находится за его пределами. Алиса может открывать окна, люк, багажник, регулировать климат и подогрев, причём с учётом того, с какой стороны сидит пассажир (спасибо двум микрофонам слева и справа).

Звук отправляется в Android-приложение Алисы, оттуда — в Quark (общий SDK Алисы). А уже из него запрос попадает в Яндекс IO, который отвечает за передачу данных и воспроизведение голоса Алисы.

ASR на бэкенде распознаёт речь пользователя и превращает её в текст. Далее модуль NLU определяет намерения юзера. В итоге формируется директива и голосовой ответ — и они отправляются обратно в машину.

🅰️ Модуль VQE

Он нужен для очищения голоса от эха и шумов, чтобы Алиса могла распознавать ваши команды. Мы несколько месяцев адаптировали наши алгоритмы и приглашали на тестирование людей различного возраста и пола, чтобы они катались в автомобиле и разговаривали с Алисой. А потом эти аудиозаписи мы использовали для настройки системы.

🅰️ Работа без интернета

Мы реплицировали часть бэкенда Алисы внутри автомобиля. Без сети она сохраняет управление функциями машины и мультимедиа.

🅰️ Литийжелезофосфатная батарея

Она безопасна, и её хватает примерно на 400 километров летом. А для зимы есть опция дооснащения автономным отопителем, чтобы не терять в пробеге даже в самый лютый холод.

⏩️ В полном выступлении мы разобрали, как строили cloud-to-cloud-интеграцию с автопроизводителем и безопасно ли давать Алисе управлять машиной. А также поделились сложностями, с которыми столкнулись в процессе работы, и рассказали, как их решали. Смотрите видео на сайте Городских сервисов, ютубе и в VK Видео.

Подписывайтесь:
💬 @Yandex4Developers