В оценке AI часто может потребоваться эталон, на который можно опираться при проверках. Эту роль играет golden датасет, поэтому сегодня хочу разобрать, как он работает и зачем он нужен.

Golden датасет - это эталонный набор данных (например, пользовательских запросов) с заранее проверенными правильными ответами (expected answer).

Зачем он нужен:

Проверка регрессий. Каждый новый билд ИИ решения сравнивается с golden датасетом. Если ответы от AI изменились там, где меняться не должны — значит, появилась ошибка.

Стабильная точка контроля. Golden набор фиксирует, что именно считается правильным результатом, и убирает двусмысленность.

Автоматизация. Такой датасет легко подключается в CI/CD, где тесты гоняются автоматически при каждом изменении, и команда сразу видит, где что-то пошло не так.

Как правильно его спроектировать:
1. Подбирать репрезентативные кейсы. Сценарии, которые отражают ключевые требования бизнеса или реальные кейсы использования вашего AI решения на проде.
2. Добавлять edge cases. Golden датасет отличное место для фиксирования багов, которые однажды нашли и больше не хотят ловить в проде.
3. Фиксировать корректные ответы. Каждому тесту нужен эталонный результат, согласованный командой или экспертами вашей компании.
4. Поддерживать версионность. Golden датасет должен жить вместе с системой и если требования меняются, набор также должен обновляться.
5. Встраивать в пайплайн. Проверка golden набора должна быть обязательной частью CI/CD, чтобы любая регрессия ловилась до релиза новых изменений, например, при изменении системного промпта, источников или кода ИИ решения в целом.

По сути, golden датасет должен говорить нам о том, что новые версии AI решения не ломают логику работы. Это та самая контрольная работа, которую AI продукт сдает перед каждым релизом.

Для сравнения оптимально использовать не точное сравнение (exact match), так как мы знаем AI может генерировать разные стили ответов, а семантическое сравнение или сравнение по ключевым словам в ответе.


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)