Recent advances in visual object tracking mainly concentrate on RGB data. With the availability of depth sensors that capture spatial information, trackers that consider RGBD data might leverage tracking performance. This work investigates how state-of-the-art RGB trackers can be adapted to profit from the additional information. Specifically, this work proposes a framework consisting of two components: a self-supervised pretraining part and a supervised part. In the self-supervised pretraining component, domain transfer learning serves as pretext task. The general concept is to learn one modality from the other, predicting depth from RGB and foreground-background segmentation from depth. We analyze different preprocessing techniques, RGB pretrained networks for the depth domain, fusion layers, and backbone architectures in the supervised training component. Empirical results show that the proposed framework's supervised component outperforms its RGB counterpart when training on the same images. However, the sparsity of RGBD datasets poses data distribution problems between training and validation data. The results with self-supervised pretraining show a significant improvement compared to training from scratch by exploiting unlabeled RGBD data, effectively tackling dataset sparsity.     «

Recent advances in visual object tracking mainly concentrate on RGB data. With the availability of depth sensors that capture spatial information, trackers that consider RGBD data might leverage tracking performance. This work investigates how state-of-the-art RGB trackers can be adapted to profit from the additional information. Specifically, this work proposes a framework consisting of two components: a self-supervised pretraining part and a supervised part. In the self-supervised pretraining...     »

Die Fortschritte im Bereich des visuellen Objekttrackings konzentrieren sich hauptsächlich auf RGB Daten. Die Verfügbarkeit von Tiefensensoren zur Erfassung räumlicher Informationen können die Performance von Objekttracking Algorithmen durch Verwendung von RGBD Daten verbessern. Diese Arbeit untersucht, wie State-Of-The-Art RGB Tracker angepasst werden können um von der zusätzlichen Information zu profitieren. Insbesondere wird ein Framework entwickelt, welches aus zwei Komponenten besteht: Einer self-supervised Pretraining sowie einer Supervised Komponente. In dem self-supervised Teil wird Domain Transfer Learning als Pretext Task verwendet. Dabei wird eine Modalität von der anderen gelernt: einerseits wird die Tiefeninformation aus dem RGB Bild vorhergesagt und andererseits eine Foreground-Background Segmentation Mask aus der Tiefeninformation. Die Arbeit untersucht verschiedene Preprocessing Techniken, wie vortrainierte RGB Netzwerke für die Tiefendomäne, Fusions-Layer, und Backbone Architekturen. Empirische Ergebnisse zeigen, dass die Supervised Komponente des vorgeschlagenen Frameworks verglichen mit den RGB Baseline Varianten bessere Ergebnisse liefert, wenn auf denselben Daten trainiert wird. Die geringe Verfügbarkeit von RGBD führt zu Data-Distrubution Problemen zwischen Trainings- und Validierungssets. Die Ergebnisse durch Self-Supervised Pretraining zeigen durch die Nutzung ungelabelter RGBD Daten eine signifikante Verbesserung verglichen mit einem Training der Netzwerke von Grund auf. Dadurch wird die geringe Verfügbarkeit von RGBD-Datensätzen effektiv addressiert.     «

Die Fortschritte im Bereich des visuellen Objekttrackings konzentrieren sich hauptsächlich auf RGB Daten. Die Verfügbarkeit von Tiefensensoren zur Erfassung räumlicher Informationen können die Performance von Objekttracking Algorithmen durch Verwendung von RGBD Daten verbessern. Diese Arbeit untersucht, wie State-Of-The-Art RGB Tracker angepasst werden können um von der zusätzlichen Information zu profitieren. Insbesondere wird ein Framework entwickelt, welches aus zwei Komponenten besteht: Eine...     »