Сегодня посмотрел еще одно интересное видео от Мальцева Антона. Тема видео: "Как организовать разметку датасета? Самые простые способы”.

Забавно, но с Антоном я уже знаком. Их собранную базу автомобильных номеров мы использовали при создании домашнего задания для студентов ШАДа и ВШЭ.
 
Поэтому я выражаю огромную благодарность Антону за то, что разрешил использовать свою базку с номерами)

TL;DR
Существует несколько способов разметки данных:

• Краудсорсинг. Дешево, много исполнителей, но трудно получить высокое качество и нельзя размечать NDA данные. А 85% данных, с которыми работает Антон — это данные под NDA.

• Разметка на аутсорс. Плюсы: можно размечать NDA данные, быстро, высокое качество разметки, можно делать сложную разметку, фирма за вас решает все проблемы. Минусы: дорого, иногда не очень быстрое согласование и заключение договора.

• Найм частников для разметки. Плюсы: вы все контролируете. Минусы: много времени уходит на менеджмент. В 30% задач такой способ разметки заходит.

• Создание внутреннего отдела разметчиков. Используется, когда у вас есть постоянный набор данных для разметки, нужно высокое качество. Можно делать сложные инструменты для разметки. Минусы: довольно дорого и требует много внимания. Плюсы: иногда дешевле, чем найм фирм.

• Использование open source датасетов. Минусы: не все датасеты доступны для коммерческого использования,  open source может не полностью подходить под вашу задачу.

• Использования хитрого софта для самостоятельной быстрой разметки либо хитрой логики для создания датасета. Например автоматическая разметка от supervise.ly 

• Синтетика. Синтетика — очень тяжелый путь. Это не всегда оптимальный подход. Но иногда синтетика -— единственный выход.