LAMBO

В репозитории опубликован код LAMBO — метода аугментации разметки для задач с ключевыми точками и контурами объектов. Авторы работают с ситуацией, где изображений много, а точной разметки мало или она не сопоставлена с изображениями напрямую. Такая постановка часто встречается в медицине, биометрии и других областях, где аннотация требует экспертизы. Вместо обычных геометрических преобразований LAMBO генерирует новые разметки через барицентры Вассерштайна между близкими примерами на многообразии исходных аннотаций. Для этого строится граф ближайших соседей по расстоянию Вассерштайна, в нём находятся локальные клики, а новые точки получаются как случайные барицентры внутри этих локальных областей. Такой подход сохраняет естественную геометрию данных и не уводит разметку далеко от исходного распределения. В работе метод применён к обнаружению ключевых точек лица на 300-W, поз человека на Human3.6M и сегментационным контурам на Cardio MRI. Сгенерированные разметки используются при обучении Cyclic GAN, который сопоставляет изображения и ключевые точки в unpaired и semi-supervised сценариях. В экспериментах LAMBO снижает переобучение и превосходит обычные геометрические преобразования, GMM, GAN, VAE и Нормализующие потоки. Особенно заметный выигрыш появляется при малом числе аннотаций, например на подвыборках из 100, 300 и 600 размеченных изображений. Работа будет полезна исследователям компьютерного зрения, медицинской сегментации и задач с дорогостоящей разметкой, где нужно расширять набор аннотаций без ручного контроля каждой новой формы.

статья | код