Как женские руки помогли обучить нейросеть сортировке отходов

Никакого кликбейта, сегодня хотим дать вам посмотреть на мир глазами нашей «Умной урны» и немного рассказать о процессе ее обучения.

👁 Первые данные для проекта собирали в основном наши ребята из команды, но затем к проекту подключилась наша сотрудница ML-разработчик Залина Карданова, и именно она помогла отловить забавный баг — нейросеть банально пасовала, если в кадре появлялись женские руки.

➡️ По части компьютерного зрения логика работы системы устроена так: модель запускается не постоянно, а только тогда, когда в кадре появляется движение или новый объект. Это снижает нагрузку на устройство и позволяет не тратить вычислительные ресурсы впустую. Сейчас для детекции используется модель YOLO13. Она определяет не только класс объекта, но и его положение на изображении с помощью bounding box. Однако итоговое решение принимается не сразу после первого кадра.

В процессе тестирования выяснилось, что опираться на один кадр не всегда надежно. Например, объект может только появляться в поле зрения камеры, быть частично перекрыт, двигаться слишком быстро или попасть под блик. В таких случаях первый результат модели может оказаться ошибочным. Поэтому была реализована система принятия решения на основе трех последовательных кадров. После определения класса система передает команду механической части устройства. Для каждого класса заранее задан свой отсек, в который необходимо направить объект.

Отдельно предусмотрена логика безопасности. Одним из классов модели являются руки человека. Пока рука находится в зоне действия механизма, сервоприводы не активируются, чтобы движущиеся части устройства не начали работу во время взаимодействия пользователя с платформой.

По мере развития проекта собирались данные с реальных испытаний, а также фотографии новых объектов, которые отсутствовали в исходных выборках. Если во время тестирования обнаруживались ошибки распознавания, такие примеры также добавлялись в датасет для последующего дообучения модели.

На старте проект располагал примерно 10 тысячами исходных изображений без учета аугментаций. На сегодняшний день объем данных превышает 20 тысяч изображений. В процессе подготовки данных использовалось большое количество аугментаций. Среди них повороты изображений, отражения, изменение яркости, насыщенности и контрастности, различные световые эффекты, шумы, частичные перекрытия объектов и наложение объектов друг на друга.

Наиболее сложным этапом работы с данными оказался сбор изображений проблемных объектов. Например, черные отходы. Из-за темного цвета они могли частично сливаться с элементами конструкции внутри устройства, поэтому модели было сложнее выделять их на фоне остальных объектов. Для решения этой проблемы потребовалось дополнительно расширять датасет подобными примерами.

Часть трудностей стала заметна только после реальных испытаний. Например, одна из ранних версий модели демонстрировала хорошие результаты днем, но вечером точность снижалась. Причиной оказалась недостаточная представленность различных условий освещения в обучающей выборке. После расширения набора световых аугментаций и добавления новых данных эта проблема была решена.

Теперь про женские руки. На ранних этапах в датасете присутствовало больше изображений мужских рук, поскольку именно они чаще использовались при сборе данных. Во время тестирования выяснилось, что некоторые женские руки модель иногда определяет менее уверенно или относит к другим объектам. После расширения датасета и увеличения разнообразия изображений рук эта проблема была устранена.

На данный момент вся обработка выполняется полностью локально без использования внешних серверов. Это позволяет устройству работать автономно и не зависеть от наличия интернета. Кроме того, отсутствуют задержки, связанные с передачей изображений по сети.

На текущий момент система масштабируется с точки зрения увеличения количества классов, а также прорабатывается модель Урны 3.0.

✌️А как это выглядит в реальном времени, смотрите на видео

🟦 TG | MAX