With advancements in deep learning, robots have significant potential as embodiments of artificial intelligence in both factory automation and daily life applications. To effectively interact with the real world, accurate environmental perception in 3D space is crucial for subsequent manipulation tasks. Specifically, determining the rotation and translation of objects, known as the 6D object pose estimation, is a critical step in enabling precise robotic interactions. To address 6D object pose estimation, traditional methods such as SIFT and point pair features are commonly used to track key features and estimate object poses. However, these approaches exhibit limited performance in real-world applications. Recent deep learning-based methods have significantly improved pose estimation accuracy, but they typically support only a limited set of object instances. In addition to this generalization limitation, deep learning approaches require extensive training datasets with 6D pose annotations, which are costly and time-consuming to collect. Consequently, a gap remains between current research and the development of a generalizable pose estimator which can be used off-the-shelf. Firstly, we aim to reduce the complexity of object CAD scanning and model training. To this end, we propose an in-hand object onboarding pipeline, followed by a novel object pose estimator, which simplifies the training process and reduces its requirements. Our second focus is on transparent and metallic objects, which are common in household environments but often neglected in current pose estimation methods. To address this, we introduce a polarization modality and fuse multi-modal information to overcome depth measurement challenges on photometrically-challenging object surfaces. Thirdly, we focus on reducing the large amount of real data needed in the pose training. It is a natural idea to leverage synthetic images to meet the training data requirements, but the domain gap between synthetic and real images significantly impacts network performance. To mitigate this, our primary focus is on Sim2Real domain adaptation, which relies solely on synthetic images during training. In particular, we incorporate 2D foundation model features into the object point cloud and fuse both semantic and geometric features in the network, significantly enhancing generalization to real-world images.     «

With advancements in deep learning, robots have significant potential as embodiments of artificial intelligence in both factory automation and daily life applications. To effectively interact with the real world, accurate environmental perception in 3D space is crucial for subsequent manipulation tasks. Specifically, determining the rotation and translation of objects, known as the 6D object pose estimation, is a critical step in enabling precise robotic interactions. To address 6D object pose...     »

Mit den Fortschritten im Bereich des Deep Learning haben Roboter ein erhebliches Potenzial als Verkörperungen von Künstlicher Intelligenz in der Fabrikautomation und im täglichen Leben. Um effektiv mit der realen Welt zu interagieren, ist eine präzise Wahrnehmung der Umgebung im 3D-Raum entscheidend für nachfolgende Manipulationsaufgaben. Insbesondere die Bestimmung der Rotation und Translation von Objekten, bekannt als 6D-Objekt-Pose-Schätzung, ist ein wesentlicher Schritt zur Ermöglichung präziser roboterbasierter Interaktionen. Zur Lösung der 6D-Objekt-Pose-Schätzung werden traditionelle Methoden wie SIFT und Point-Pair-Features häufig eingesetzt, um Schlüsselfunktionen zu verfolgen und Objekt-Posen zu schätzen. Diese Ansätze weisen jedoch in realen Anwendungen begrenzte Leistung auf. Jüngste, auf Deep Learning basierende Methoden haben die Genauigkeit der Pose-Schätzung erheblich verbessert, unterstützen jedoch typischerweise nur eine begrenzte Anzahl von Objektinstanzen. Zusätzlich zu dieser Generalisierungsbeschränkung erfordern Deep Learning-Ansätze umfangreiche Trainingsdatensätze mit 6D-Pose-Anmerkungen, die kostspielig und zeitaufwendig zu sammeln sind. Folglich besteht eine Lücke zwischen der aktuellen Forschung und der Entwicklung eines allgemein einsetzbaren Pose-Schätzsystems. Erstens zielen wir darauf ab, die Komplexität des CAD-Scannens von Objekten und des Modelltrainings zu reduzieren. Zu diesem Zweck schlagen wir eine Pipeline für die Objekterfassung in der Hand vor, gefolgt von einem neuartigen Objektpose-Schätzer, welcher den Trainingsprozess vereinfacht und dessen Anforderungen reduziert. Unser zweiter Fokus liegt auf transparenten und metallischen Objekten, die in häuslichen Umgebungen häufig vorkommen, aber in aktuellen Pose-Schätzmethoden oft vernachlässigt werden. Um dies zu adressieren, führen wir eine Polarisationsmodalität ein und fusionieren multi-modale Informationen, um Tiefenmessungsherausforderungen auf photometrisch schwierigen Objektoberflächen zu überwinden. Drittens konzentrieren wir uns darauf, die große Menge an realen Daten zu reduzieren, die für das Pose-Training benötigt wird. Es ist ein natürlicher Gedanke, synthetische Bilder zu nutzen, um die Trainingsdatenanforderungen zu erfüllen, aber die Domänenlücke zwischen synthetischen und realen Bildern beeinflusst die Netzwerkleistung erheblich. Um dies zu mildern, liegt unser Hauptfokus auf der Sim2Real Domänenadaptation, die sich während des Trainings ausschließlich auf synthetische Bilder stützt. Insbesondere integrieren wir 2D-Foundation-Model-Features in die Objektpunktwolke und fusionieren sowohl semantische als auch geometrische Features im Netzwerk, was die Generalisierung auf reale Bilder erheblich verbessert.     «

Mit den Fortschritten im Bereich des Deep Learning haben Roboter ein erhebliches Potenzial als Verkörperungen von Künstlicher Intelligenz in der Fabrikautomation und im täglichen Leben. Um effektiv mit der realen Welt zu interagieren, ist eine präzise Wahrnehmung der Umgebung im 3D-Raum entscheidend für nachfolgende Manipulationsaufgaben. Insbesondere die Bestimmung der Rotation und Translation von Objekten, bekannt als 6D-Objekt-Pose-Schätzung, ist ein wesentlicher Schritt zur Ermöglichung präz...     »