Мы уже довольно давно занимаемся оценкой релевантности и качества поиска. Даже сделали отдельную страничку на нашем сайте.

Оценка качества поиска - это очень интересная задача. Благодаря собираемым оценкам поисковые движки учатся подбирать наиболее релевантную поисковую выдачу под каждый запрос пользователя. Таким образом все подходящие ссылки/документы оказываются сверху страницы, а неподходящие на страницу не попадают.
Если вы хотите более детально разобраться в принципах работы, советую посмотреть курс от МФТИ на Coursera. 

В вебинаре "Crowdsourcing с механической поддержкой”  Игорь Кураленок (руководитель Yandex.Cloud ML) рассказывал что раньше для оценки качества поиска Яндекс использовал внутренних асессоров и им для работы приходилось изучать инструкцию из более чем 100 страниц. Сейчас же Яндекс довольно много оценок собирает с помощью краудсорсинга, чем сильно упростил и отмаштабировал процесс получения новых данных. А вы пробовали выполнять в Толоке задания от Я.Массалия и Я.Юпитер?

Почему я решил рассказать вам об этом?
Недавно я наткнулся на инструкцию для асессоров из Google. Прикрепляю ее, чтобы вы могли оценить масштаб и сложность задачи. Инструкция состоит из 175 страниц, а чтобы получить работу, необходимо пройти 4 уровня отбора.

Забавно, что для такой работы до сих пор нанимают в штат людей по всему миру, платят по 5-23 доллара за час, хотя эту же задачу можно было решить быстрее, дешевле и качественнее с помощью краудсорсинга.