Разметка. Часть 1.
Здорово, если в вашей компании процессы построены так, что ML отдел получает хорошие данные для обучения, не задумываясь о том, кем они и как размечены. Вопросы начинают появляться в тот момент, когда модели перестают учиться и пристальный взгляд на разметку выявляет ее изъяны.

Выстраивание разметки в медицине, пожалуй, один из самых трудозатратных процессов. Сегодня хотелось бы собрать воедино наши подходы, которые могли бы помочь в этом сложном пути. Этот пост будет посвящен самому процессу разметки, в дальнейшем планирую пост про ML подходы работы с шумной разметкой.

Ниже будут представлены подходы, направленные на повышение качества разметки, от очевидных до более изящных. Большинство из них могут работать в любой предметной области, но я буду говорить об этом со стороны медицины. Отдельно хотелось бы заметить, что я считаю процесс правильно выстроенным, если в нем можно посчитать какие-то цифры, поэтому я периодически буду описывать то, что можно посчитать.

1. Кросс разметка. Одна голова - хорошо, а две - зависит от вашего подхода. Безусловно, 3 плохих разметчика ничуть не лучше, чем 1 плохой, но в среднем метод очень сильный, открывающий еще и многообразие ML подходов работы с такой разметкой.
Что посчитать: построение метрик согласованности. Мы в компании сошлись в следующей мысли: если врачи согласовались, значит это истина. Это почти верно, в случае, если ты еще и независимо следишь за компетентностью приглашенных врачей.
2. Кросс проверка. Этот подход работает лишь в том случае, если вы обладаете "экспертами" зарекомендовавшими себя долгой и классной работой. Исследование размечается, при не прохождении проверки - возвращается назад с комментариями.
Что посчитать: как часто исследования возвращаются на доразметку, с какого раза они итогово принимаются. Задачу понять, какие выводы можно сделать из этих цифр оставлю на читателе.
3. Инструкция для разметки. Залог хорошего результата - грамотная инструкция. Во-первых, хорошая разметка не равно объективная реальность. Хорошая разметка равно соответствие инструкции, поэтому прежде чем требовать качество, нужно четко понять, чего хочется, и это изложить. Скажу крамольную мысль: в инструкции никто не вчитывается, если даже открывает. В связи с чем, необходимо донести все тонкости методички в другом формате: через общий созвон с разметчиками или же видео-инструктаж.
4. Обратная связь. Сделайте этот процесс регулярным. Качество разметки падает в тот момент, когда разметчики понимают, что за ними не следят. Нужно наблюдение на потоке за каждым, собирать папочку с ошибками и выходить периодически на 1-2-1 с объяснением косяков. Для этого процесса требуется эксперт, который сможет кластеризовать ошибки, чтобы исключать их системно.
Что посчитать: скорость наполнения папки с ошибками и частоту даваемой ОС.
5. Дифференцируемая оплата за размеченные исследования, а не часы работы. Размечаешь лучше - получаешь больше, хуже - меньше или ноль. Пример: сразу разметил верно получил 100 рублей, после 1 этапа валидации 50, после 2 этапов валидации 0 рублей. Важно построить грамотную финансовую модель, учтя затраченное время экспертов-валидаторов и необходимые темпы разметки.
Что посчитать: отношение фактически заработанного к потенциальному заработку специалистов.

Продолжение далее ⬇️

@lechim_ai