Multimodal Co-learning with VHR Multispectral Imagery and Photogrammetric Data
Translated title:
Multimodales Co-Learning mit VHR multispektralen Bilddaten und photogrammetrischen Daten
Author:
Xie, Yuxing
Year:
2024
Document type:
Dissertation
Faculty/School:
TUM School of Engineering and Design
Institution:
Data Science in Earth Observation (Prof. Zhu)
Advisor:
Zhu, Xiaoxiang (Prof. Dr. habil.)
Referee:
Zhu, Xiaoxiang (Prof. Dr. habil.); Reinartz, Peter (Prof. Dr.); Fraundorfer, Friedrich (Prof. Dr.)
Language:
en
Subject group:
GEO Geowissenschaften
TUM classification:
BAU 967; MSR 915
Abstract:
This dissertation introduces multimodal co-learning frameworks for remote sensing tasks of building extraction and building change detection. Proposed frameworks utilize training modes that can exploit unlabeled data and mutual information of 2-D and 2.5-D/3-D modalities to enhance the capability of single-modal networks in challenging scenarios with limited or cross-domain labeled data.
Translated abstract:
In dieser Dissertation werden multimodale Co-Learning-Frameworks für Fernerkundungsaufgaben der Gebäudeextraktion und der Erkennung von Gebäudeveränderungen vorgestellt. Die vorgeschlagenen Frameworks nutzen Trainingsmodi, die unmarkierte Daten und gegenseitige Informationen von 2-D- und 2,5-D/3-D-Modalitäten ausnutzen können, um die Fähigkeit von monomodalen Netzwerken in anspruchsvollen Szenarien mit begrenzten oder domänenübergreifenden markierten Daten zu verbessern.