Real-time tracking and mapping approaches support intelligent agents such as robots, AR/VR devices, and autonomous driving vehicles to interact with unknown environments. Visual-based tracking methods aim to estimate the six degrees of freedom (DoF) camera poses, while mapping algorithms aim at reconstructing unknown environments into sparse or dense models. Commonly, camera poses tend to drift when errors accumulate during tracking processes. To limit the increase of pose errors, solutions, including local bundle adjustment, sliding window optimization, marginalization, and loop closure, are proposed to use correspondences to build co-visibility graphs. Those approaches achieve robust tracking performance after using optimization modules. However, the co-visibility strategy based on point features still needs to improve in low/non-textured regions since only some features are extracted during the tracking process. Furthermore, lines and planes, especially in indoor scenes, are explored under the co-visibility architecture to compensate for the reduction in the number of point correspondences. Given more features, the robustness of trackers will be continually improved. However, the shortness of co-visibility graphs that mainly rely on overlaps needs to be addressed, which leads to shorter constraint edges in the graphs. Instead of only using re-projection errors of point-line-plane correspondences under the co-visibility graph pipeline, more structure information, such as Vanishing Point and Manhattan/Atalanta World Assumptions, is leveraged into our pose estimation modules by assuming scenes have some perpendicular and orthogonal cues. Since these structural cues are loosely organized by basic landmarks rather than represented as minimal parameterizations, it is difficult to use them in optimization modules. Even though they are often used in visual odometry systems, keeping these structural landmarks correct during the tracking process remains an open challenge. How to exploit structural regularities in pose estimation and scene reconstruction is the most critical exploration goal of this dissertation. The methods presented here are incorporated into a completed tracking and mapping system. Specifically, our tracking module uses the structural regularities in the front-end and back-end modules. Moreover, we propose a new type of graph architecture, the Extensibility Graph, which is incorporated with co-visibility graphs to make up for the shortcomings of over-reliance on visual overlaps of traditional co-visibility ones.     «

Real-time tracking and mapping approaches support intelligent agents such as robots, AR/VR devices, and autonomous driving vehicles to interact with unknown environments. Visual-based tracking methods aim to estimate the six degrees of freedom (DoF) camera poses, while mapping algorithms aim at reconstructing unknown environments into sparse or dense models. Commonly, camera poses tend to drift when errors accumulate during tracking processes. To limit the increase of pose errors, solutions,...     »

Echtzeit-Tracking- und Mapping-Ansätze helfen intelligenten Agenten wie Robotern, AR/VR-Geräten und autonomen Fahrzeugen, mit unbekannten Umgebungen zu interagieren. Visuell basierte Tracking-Methoden zielen darauf ab, die sechs Freiheitsgrade (DoF) von Kamerapositionen abzuschätzen, während Mapping-Algorithmen darauf abzielen, unbekannte Umgebungen in spärliche oder dichte Modelle zu rekonstruieren. Im Allgemeinen neigen Kamerapositionen dazu, zu driften, da sich bei den Tracking-Vorgängen Fehler anhäufen. Um die Zunahme von Posenfehlern zu begrenzen, werden Lösungen einschließlich lokaler Bündelanpassung, Schiebefensteroptimierung, Marginalisierung und Schleifenschließung vorgeschlagen, um Korrespondenzen zur Erstellung von Ko-Sichtbarkeitsdiagrammen zu verwenden. Diese Ansätze erzielen nach Verwendung von Optimierungsmodulen eine robuste Tracking-Leistung. Allerdings muss die auf Punktmerkmalen basierende Co-Sichtbarkeitsstrategie in Regionen mit spärlicher/nicht texturierter Struktur noch verbessert werden, da während des Tracking-Prozesses nur einige Merkmale extrahiert werden. Darüber hinaus werden Linien und Ebenen, insbesondere in Innenszenen, im Rahmen der Co-Visibility-Architektur untersucht, um die Verringerung der Anzahl der Punktkorrespondenzen auszugleichen. Durch weitere Features wird die Robustheit der Tracker kontinuierlich verbessert. Ko-Sichtbarkeitsdiagramme basieren jedoch hauptsächlich auf Überlappungen, was zu kürzeren Einschränkungskanten in den Diagrammen führt. Anstatt nur Reprojektionsfehler von Punkt-Linie-Ebene-Korrespondenzen als Teil der Co-Visibility Graph-Pipeline zu verwenden, werden mehr Strukturinformationen in unsere Posenschätzungsmodule integriert, indem davon ausgegangen wird, dass Szenen senkrechte und orthogonale Hinweise haben. Da diese strukturellen Hinweise lose nach grundlegenden Orientierungspunkten organisiert sind, ist es schwierig, sie in Optimierungsmodulen zu verwenden. Obwohl sie häufig in visuellen Odometriesystemen verwendet werden, bleibt die korrekte Beibehaltung dieser strukturellen Orientierungspunkte während des Verfolgungsprozesses eine offene Herausforderung. Die Ausnutzung struktureller Gesetzmäßigkeiten bei der Posenschätzung und Szenenrekonstruktion ist das Hauptforschungsziel dieser Dissertation. Die hier vorgestellten Methoden werden in ein fertiges Tracking- und Mapping-System integriert. Konkret nutzt unser Tracking-Modul die Strukturgesetze in den Front-End- und Back-End-Modulen. Darüber hinaus schlagen wir eine neue Art von Grapharchitektur vor, den Erweiterbarkeitsgraphen, der in Co-Sichtbarkeitsgraphen integriert ist, um die Mängel einer übermäßigen Abhängigkeit von der visuellen Überlappung herkömmlicher Co-Sichtbarkeitsgraphen zu kompensieren.     «

Echtzeit-Tracking- und Mapping-Ansätze helfen intelligenten Agenten wie Robotern, AR/VR-Geräten und autonomen Fahrzeugen, mit unbekannten Umgebungen zu interagieren. Visuell basierte Tracking-Methoden zielen darauf ab, die sechs Freiheitsgrade (DoF) von Kamerapositionen abzuschätzen, während Mapping-Algorithmen darauf abzielen, unbekannte Umgebungen in spärliche oder dichte Modelle zu rekonstruieren. Im Allgemeinen neigen Kamerapositionen dazu, zu driften, da sich bei den Tracking-Vorgängen...     »