Сегодня хочу обсудить интересную тему: Self-evaluation у моделей.

Обычно мы говорим о внешней оценке, например, метрики, бенчмарки, human evaluation. Но есть другой подход, когда сама модель оценивает свои ответы.

Что это значит? После того как LLM генерирует результат, ее можно попросить: “Оцени свой ответ по шкале от 1 до 5” или “Насколько он соответствует фактам?”. Иногда используют отдельную модель-оценщик, иногда ту же самую.

Зачем это нужно:
- Для фильтрации галлюцинаций (модель сама помечает сомнительные ответы).
- Для повышения надежности в пайплайнах, если уверенность низкая, то можно подключить дополнительные проверки или переспросить пользователя.
- Для обучения, например, self-evaluation часто используют в reinforcement learning, когда модель сама сигнализирует о качестве результата.

Но у подхода есть и ограничения. Модель может быть чрезмерно уверенной в галлюцинациях или, наоборот, занижать качество ответа.

Пример:
Задаём вопрос: “Кто написал Преступление и наказание?”. AI отвечает: “Фёдор Достоевский”. Потом сама добавляет: “Уверенность: 95%”. Если AI ошибcя, но все равно написал 95%, это сигнал о проблеме с self-evaluation.

Сегодня self-evaluation рассматривается как часть будущих саморефлексивных AI-систем, где модель не только выдает ответы, но и умеет честно судить о качестве собственной работы.


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)