На что обратить внимание при работе с асессорами? ⚠️

При разработке ML/AI решений мы можем столкнуться со следующей проблемой: мы хотим протестировать наш алгоритм, но по каким-то причинам мы не можем его тестировать на реальных пользователях. В таких ситуациях ML-команды прибегают к помощи асессоров.

Асессор — человек, который привлекается для независимой оценки качества работы алгоритма.

Мы показываем результат работы нашего алгоритма асессорам и просим их оценить, как хорошо справилась наша модель. Это могут быть как оценки по шкале от 0 до 10, так и бинарная оценка: алгоритм задачу решил/не решил.

Несмотря на простоту идеи «Давайте просто спросим у людей, как хорошо справился наш алгоритм», при работе с асессорами надо обратить внимание на некоторые потенциальные подводные камни:

1. Качество подготовки асессоров 🎓
Асессоры должны чётко понимать, какой результат ожидается от модели. Асессорами должны быть либо профессионалы в области, в которой мы применяем алгоритм, либо мы должны подготовить обучающие материалы, чтобы после их изучения асессоры могли правильно оценивать работу нашего алгоритма.

2. Несогласованность оценок ⚖️
Асессоры — живые люди, и им свойственны субъективность и предвзятость. Нам нужно заранее определить алгоритм действий на тот случай, если для одного примера работы AI-модели разные асессоры будут давать разные оценки.

3. Борьба с недобросовестными асессорами 🕵️‍♂️
Обычно мы платим асессору фиксированную цену за каждый обработанный пример работы AI-алгоритма. Мы должны продумать методы борьбы с теми асессорами, которые будут проверять работу алгоритма недобросовестно, лишь бы заработать больше денег.

4. Безопасность 🔒
При работе с внешними асессорами мы должны убедиться, что к ним не попадают чувствительные данные.


__
Подписывайтесь: "Как приручить ИИ"