🎭 Ученые лаборатории ИИ Сбербанка предложили инновационный подход к распознаванию эмоций в реальных условиях — с шумом, разными ракурсами и освещением

Работа демонстрирует, как комбинация визуальных, акустических и текстовых данных повышает точность эмоционального анализа на основе моделей ИИ.

Что сделали ученые:

1️⃣ Использовали лёгкие нейросети (EmotiEffNet, MobileViT, MobileFaceNet), обученные на фото с эмоциями, — они быстро работают даже на смартфонах.
2️⃣ Ввели фильтрацию кадров: система анализирует только те, где эмоции точно распознаются.
3️⃣ Применили метод «позднего слияния» (late fusion), объединяя данные с видео, аудио и текста — это повысило точность и адаптивность модели.

Результат — точность распознавания эмоций выросла на 1,5–15% по сравнению с классическими методами вроде VGGFace и wav2vec 2.0. Все наработки собраны в библиотеке EmotiEffLib.

Зачем это нужно:

🤖 виртуальные ассистенты и чат-боты смогут понимать эмоции пользователей и реагировать естественнее
📚 в образовании — адаптация контента под настроение ученика
🍹 в бизнесе — анализ реакции клиентов на продукты и рекламу
💉 в медицине — мониторинг признаков тревожности и депрессии

⭐️ Разработка принята к публикации на международном воркшопе Affective Behaviour Analysis in-the-Wild (ABAW) конференции CVPR (Core A*).

💬 Тест Тьюринга. События в сфере ИИ. Подписаться

#новостьдня