Наконец наступили выходные и я добрался до просмотра семинара “Crowdsourcing с механической поддержкой”.
https://youtu.be/xulVH9rG-70
Докладчик: Игорь Кураленок (руководитель Yandex.Cloud ML) рассказал очень много интересных идей, так что всем, кто интересуется краудсорсингом, рекомендую этот семинар к просмотру.

TL;DR

• 10:45 Яндекс хитро разделяет набор данных на train и test. Он использует два контура: контур для обучения и контур для оценки моделей. Каждый контур обладает своими свойствами и способами работы в нем.

• 29:29 Чем объемнее и сложнее инструкция, тем более калиброванные оценки мы получаем, но при этом в таких оценках уменьшается экспертное мнение.

• 38:55 Обратная связь крайне важна для асессора.

• 41:16 Если дать возможность асессорам общаться, то ВОЗМОЖНО они будут выдавать более точные ответы.

• 1:23:00 В агрегацию ответов асессоров можно подмешивать ответы ML модели.

• 1:29:22 В некоторых проектах Яндекс использует ML модель для проверки ответов Толокеров.

• 1:42:08 Пайплайн по аннотации аудиозаписей. Круто что Яндекс делится такой интересной инфой со всеми.