Ученые СПб ФИЦ РАН, НИУ ВШЭ и Центра практического ИИ Сбера разработали нейросеть, которая анализирует поведение человека сразу по нескольким признакам: она учитывает видео, голос и содержание речи, а также описание мимики, взгляда, позы и жестов.
Старший научный сотрудник Лаборатории речевых и мультимодальных интерфейсов СПб ФИЦ РАН Елена Рюмина объясняет:
«Для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности – содержание речи. Поэтому мы объединили в модели общие компоненты, которые формируют связи между разными модальностями, и специализированные – они выделяют наиболее важную информацию для решения каждой задачи».
Исследователи продолжают работу над адаптивностью нейросети. В перспективе она может стать основой для персонализированных цифровых аватаров, способных подстраивать речь, мимику и поведение под эмоциональное состояние пользователя.