🧹 Автоматическая чистка данных

Cleanlab и CleanVision - это два мощных инструмента для автоматической чистки датасетов.

Cleanlab - инструмент способный находить в наборах проблемные метки используя популярные фреймворки (torch, hf, sk-learn) и такие модальности как текст, изображения, табличные данные и звук.

CleanVision - позволяет находить копии и пересветы изображений, а также другие артефакты в датасетах компьютерного зрения.

Я попробовал второй инструмент во время участия в соревновании по классификации. Пара строк кода помогла мне найти и визуализировать проблемные места за 20 минут на датасете из 80к картинок.

CleanVision
Cleanlab
Демонстрация label issue ImageNet