Ребята, возвращаюсь к цифровым персонажам ПМЭФ-26.Как я писал
в посте выше, было несколько разных технологий, и сейчас расскажем, как были устроены персонажи на стендах. Мы не даём оценку работе персонажей, просто описываем особенности, как мы их поняли.
Мы собрали короткие диалоги с персонажами в ролике поста, а полные версии, которые мы смогли отснять, — по ссылке в конце поста..
⏫Итак, начнём с
Айдол. Напомню: это робот на видео. Насколько мы поняли, это полностью отечественная версия настольного робота-ассистента с оригинальным речевым движком, своей собственной базой знаний и долгой работой над механикой «мышц лица».
⏫Далее в ролике — двое из трёх наших персонажей: Лев и Анастасия (Александра также можно посмотреть по ссылке). Как видно, в визуализации мы работаем с генерацией образов, фона, жестов и т.п.
У нас
локальная база знаний, которая работает
без подключения к интернету, и в данной инсталляции
мы работали по специальному сценарию, то есть вели гостей стенда по определённой канве диалога (были, конечно, отклонения и неформальные запросы — про них расскажем подробнее позже). В нашем случае
весь интерфейс управляется также голосом. Мы
продумали в целом концепцию инсталляции, сделали Портал из круглого экрана, вписали это в сюжет стенда, подготовили целую игру для гостей и т.п.
⏫Далее следует Ира — это продукт Сбербанка и его
GigaChat. На стенде СФО она рассказывала про регион. Ира
работает с подключением к интернету, конкретно к
GigaChat`у, и её
база знаний и вся роль прописываются в нём. Визуально — это Unreal Engine. Персонаж работает
без конкретного сценария, но все разговоры сводит к диалогу на заданную тему — рассказывать про Сибирь. Особенной
концепции мы в целом не обнаружили, думаем, что акцент был сделан на сам диалог и дружелюбность персонажа.
⏫Следующий персонаж — это Инспектра. Персонаж рассказывал о сложных вещах, связанных с разрешительной и нормативной документацией, которая работает в Московском регионе.
Визуально — UE, мозги — это также
онлайн-история с отдельным RAG'ом. В целом также
работает без определённого сценария, но внутри базы знаний, которая в неё вписана.
Концепция: разработчики предусмотрели возможность демонстрации спортивных и других «навыков» Инспектры.
⏫Дерево Шэньже — это женский персонаж, «дух» Башкирии. Рассказывает о регионе в заранее прописанном формате, но может также и пообщаться на свободную тему.
Визуально — это также генерация. Как мы поняли,
работает с подключением к сети (к какой-то модели, для сценария с живым общением).
Сценарий: несколько кнопок на планшете включали заранее предзаписанную речь, но была также кнопка, позволяющая вести «живой диалог».
Концепция — это была очень эффектная инсталляция, где сам персонаж эффектно вписан в декорацию, интерфейс управления связан с графикой, и в целом всё смотрелось очень гармонично.
⏫Менделеев (но там же были ещё 4 персонажа, которые работали по одному принципу). Там же рядом на стенде была реализована инсталляция с говорящими учёными.
Визуально — это генерация. Не могу сказать
насчёт локальной работы: в целом она вполне могла бы быть локальной.
База знаний у неё также прописана в роли (или в отдельном RAG
'е).
Сценария в инсталляции как такового не было, но каждый профессор рассказывал про химию и компанию «Росхим» исходя из базы знаний, которая была ограничителем.
Концепция: тут можно отметить интересный подход к формату диалога через старую телефонную трубку и язык «под старину», на котором учёные говорили с гостями.
⏫Ещё один персонаж — это
Анна, хостес местного ресторана.
Визуально сам персонаж — это UE,
работает локально, живёт без сценария, но также активно сводит все разговоры к меню заведения, к той базе знаний, которая у неё есть.
Концепция: в целом интересный подход с дополнительным анимационным персонажем Вареником, который создаёт настроение, а сама Анна подготовлена к диалогу на неформальные темы (подробнее смотрите в видео по ссылке).
⏫По ссылке еще можно посмотреть на голосовой интерфейс, когда гость совершает выбор на экране, а система отвечает и в интерфейсе и голосом.
Полные видео с персонажами 
