Изначально EasyPortrait предназначался для решения задачи замены фона в сервисах видеоконференций 🎧, однако на этом авторы не остановились и разметили изображения и для задачи face parsing 🥸.
-Для разработчиков это значительно упростит обучение модели, так как больше нет необходимости в двух разных датасетах для решения этих задач 😎
-А пользователь сервиса видеоконференций сможет применять эффектами бьютификации (сглаживание кожи, изменение размера и цвета губ 💄 или глаз 👀, отбеливание зубов 🦷 и т. д.).
Данные:
Датасет состоит из 20.000 RGB-изображений 🖼 (более 80% из них в FullHD), полученных от 8.377 уникальных пользователей 👥. При сборе была учтена специфика выбранного домена, поэтому фотографии были собраны преимущественно в закрытых помещениях, на каждой изображен человек, который делал фото самого себя или на веб-камеру, или на фронтальную камеру мобильного телефона. Это помогло значительно увеличить разнородность данных по сценам, условиям освещения и расстоянию людей на камеру.
Разметка:
Каждому изображению соответствует сегментационная маска на 9 классов:
background, person, skin, left brow, right brow, left eye, right eye, lips, teeth. В отличии от других датасетов, класс кожи в EasyPortrait не включает в себя бороду, а зубы отделены от внутренней части рта. Первое позволит решать задачу сглаживания кожи лица, второе - задачу отбеливания зубов без дополнительных эвристик.Для сбора и разметки авторы использовали 2 краудсорсинг платформы, не забывая про валидацию после сбора и проверку качества разметки с помощью агрегации. Весь процесс создания EasyPortrait описан в статье на arXiv 📄 и, чуть менее подробно, в статье на Habr.
❤️ EasyPortrait выложен в открытый доступ и скачать его можно по ссылкам в GitHub репозитории (тут лежат ссылки и на веса обученных на датасете моделей) и на Kaggle.