"Когда мы совмещаем данные Landsat-8 и Sentinel-2, различия в значениях спектральных каналов и пространственном разрешении резко ухудшают качество сегментации облаков и их теней, - отмечает Никита Беляков. - При этом для для некоторых космических аппаратов может не быть открытых размеченных датасетов, а ручная разметка облаков на снимках — дорого и очень трудоёмко".
Для преодоления этих ограничений был разработан подход NNDACSS (Neural Network Domain Adaptation for Climate Structures Segmentation).
Он позволяет переносить работу модели сегментации модели, обученной на размеченных снимках Landsat-8, на более детализированные данные Sentinel-2 с разрешением 10 м без дополнительной разметки и дообучения. Для этого они комбинируют суперразрешение Deep-Harmonization, «чистое» масштабирование и специальные спектральные преобразования (варианты MixChannel), которые подстраивают распределения яркостей под целевой спутник, но сохраняют физические признаки облаков и их теней.
📈 Результат: показатель IoU для теней от облаков вырос с 0,45 до 0,58, а для самих облаков — с 0,48 до 0,69, причём без использования размеченных сцен Sentinel-2.
Это напрямую влияет на восстановление «чистых» спутниковых изображений без облачности, мониторинг погодных и климатических процессов, оценку рисков ЧС и последствий стихийных бедствий — везде, где важно уверенно видеть поверхность Земли сквозь облака и их тени. Подход можно адаптировать и к другим спутниковым сенсорам и типам структур (лед, дым, аэрозоль и др.). Статья вышла в журнале IEEE Access (Q1), DOI.
💡Исследование выполнено при поддержке гранта Минэкономразвития России для научных центров в области искусственного интеллекта. Работа продолжает серию исследований Центра ИИ Сколтеха по сегментации климатических структур и анализу спутниковых данных (CSIA, Multispectral satellite image super-resolution и др.)