Когда ИИ-помощник в продукте ошибается, то это повод менять его составляющие на что-то помощнее.
Но одни исследователи пошли другим путём:
Они собрали диалогового агента для студентов университета по предмету. Поверх языковой модели поставили два блока: первый разбирает смысл фразы через граф знаний предмета, второй читает интонацию голоса и то, как поведение человека меняется от занятия к занятию.
Эта надстройка отвечает на один вопрос:
"В каком состоянии студент прямо сейчас: включён, застрял, на нервах?"
Состояние определялось верно:
🟠 Только по тексту — в 78,4% случаев;
🟠 Только по интонации речи — в 72,1%;
🟠 По обоим сразу — в 86,7%.
Языковая модель везде одна и та же. Разница только в числе сигналов, по которым система судит о человеке.
Пилот шёл восемь недель: 45 студентов, две сессии в неделю по полчаса, 720 диалогов, три из десяти — голосом. По стандартным шкалам PSS и AMS (воспринимаемый стресс и учебная мотивация) стресс к концу упал на 19%, мотивация поднялась на 26%, успеваемость подтянулась умеренно.
Выборка маленькая, но сигнал я считаю полезным: анализ реакции человека на ответы машины делает ее точнее.
Практический вывод переносится на любой продукт с диалогом: поддержку, онбординг, продажи.
Еще пара таких внедрений, и может нам начнут нравиться ответы ботов в поддержке 🤖