Помните, в одном из выпусков подкаста в гостях был Максим Купрашевич? Он еще рассказывал про то, как их команда детектила амурских тигров на снимках с фотоловушек и то как находить брендовые вещи прямо в видеопотоке. Мы вчера немного пообщались и Максим рассказал о своих новостях. Мне наш разговор показался довольно интересным и я попросил Максима написать пост о последних достижениях. Вот он.

"Наша команда, Layer, занимается монетизацией фото и видео контента.
Одним из самых важных направлений является поиск похожих предметов одежды и аксессуаров по фото. Часто на фотографии, по которой необходимо искать, присутствует человек в том или ином виде - например, это может быть модель или звезда. Чтобы вернуть релевантные результаты, очень важно понимать, для какого пола и возраста мы ищем товары.

Любые ошибки на этом этапе приводят к полностью некорректным результатам. Представьте, что к детской одежде вернулась взрослая, или к женской мужская.

Долгое время мы использовали для этой задачи открытые решения, но ничего нового не выходило, а ошибки случались. Поэтому недавно мы решили разработать с нуля своё.

Вчера мы закончили задачу тем, чего изначально не планировали - релизом научной статьи и State-of-the-Art модели MiVOLO.
Помимо высокой точности, нейросеть отличает то, что она умеет предсказывать пол и возраст даже в случаях, когда лицо видно плохо или не видно вообще. Например, если человек стоит спиной или фотография обрезана.

Код для валидации и инференса, а также модели, натренированные на открытых данных, мы выложили в открытый доступ на Github. А для самой удачной на данный момент модели развернули демо.

В процессе работы мы обратили внимание на то, что все текущие бенчмарки для задач определения пола и возраста либо небольшие, либо содержат в основном звёзд, либо сделаны в студии. По таким тестовым данным сложно делать выводы о работе в реальных условиях. Поэтому, чтобы помочь сообществу исследователей в будущем, мы разработали новый бенчмарк - Lagenda и выложили его в открытый доступ."

Так что тем, кому интересно как решается такая задача - все ссылки в посте есть. Ну, и у Максима есть телеграм-канал, посвященный компьютерному зрению. На правах давнего знакомства тоже рекомендую.

А если вы еще не слушали подкаст с Максимом, то велкам сюда.