😜Нейросети для селфи на Google Pixel 6: точное альфа-матирование в портретном режиме
Матирование изображения — это процесс извлечения точной альфа-маски, которая разделяет объекты переднего плана и фона картинки. Это нужно не только профессиональным дизайнерам при оформлении рекламных фото, но и стало популярным развлечением для пользователей смартфонов. Отправить друзьям селфи на фоне Эйфелевой башне, находясь в комнате с бабушкиным ковром? Легко с помощью Google Pixel 6: сверточная нейросеть из последовательности блоков кодировщика-декодера, для постепенной оценки высококачественного альфа-матирования сохранит все детали, включая тонкие волосинки.
Входное изображение RGB объединяется с грубой альфа-подложкой (сгенерированной с помощью сегментатора людей с низким разрешением), которая передается в качестве входных данных в сеть. В новой модели Portrait Matting используется магистраль MobileNetV3 и неглубокий декодер с небольшим количеством слоев, чтобы сначала предсказать усовершенствованную альфа-маску с низким разрешением. Затем применяется неглубокий кодер-декодер и серия остаточных блоков для обработки изображения с высоким разрешением и уточненной альфа-маски из предыдущего шага. Неглубокий кодер-декодер больше полагается на функции более низкого уровня, чем предыдущая магистраль MobileNetV3, фокусируясь на структурных функциях высокого разрешения для прогнозирования окончательных значений прозрачности для каждого пикселя. Так модель может уточнить исходную альфа-маску переднего плана и точно извлечь очень мелкие детали. Эта архитектура нейросети эффективно работает на Pixel 6 с использованием Tensorflow Lite. Также ML-модель использует разнообразные обучающие наборы данных, которые охватывают широкий спектр оттенков кожи и причесок.
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html