Semantic Entropy - это измерение того, насколько семантически различаются варианты ответа, которые ИИ может сгенерировать на один и тот же запрос.

Простой пример:
Если мы задаем вопрос “Столица России?” и ИИ всегда возвращает ответы, которые по смыслу одинаковы (“Москва”, “город Москва”, “это Москва”),
то семантическая энтропия будет низкая и как вывод, который можно сделать, ИИ уверен и стабильн.

Но если спросить “Как вылечить сложное заболевание?” и ИИ начинает выдавать разные по смыслу ответы (потому что нет поддтекста и контекста), и тут уже энтропия растет, что говорит о том, что ИИ не уверен, ответы нестабильны, высокая вероятность ошибок или галлюцинаций.

Как метрика считается?
1. ИИ генерирует несколько ответов на один и тот же вопрос.
2. Все ответы преобразуются в эмбеддинги.
3. Считается, насколько по смыслу они отличаются друг от друга.
4. Чем выше различие, тем выше Semantic Entropy.

Эту метрику можно использовать для детекции галлюцинаций, даже если нет expected output и проверки уверенности ИИ в генерации ответов.

В общем думаю, что в каких-то случаях отдельное измерение этой метрики наряду с faithfulness, groundness может быть полезно для дополнительного анализа уровня галлюцинаций.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)