Grounding natural language to 3D scenes is an essential research topic for many upcoming interactive robotic agents or AR/VR applications. In recent years, there has been tremendous breakthroughs in segmenting objects in images from language. However, these methods and datasets are restricted to 2D views, where the 3D extent of an object and its surrounding environment are incompletely modelled. This limitation hinders applications where it is critical to understand the complete 3D context and the physical size, e.g. interacting with objects in the indoor scenes. In this dissertation, we explore the possible deep-learning-based methods for text-driven scene understanding on RGB-D data. First, we introduce the task of 3D object localization in RGB-D scans using natural language descriptions. As input, we assume a point cloud of a scanned 3D scene along with a free-form description of a specified target object. To address this task, we propose ScanRefer, learning a fused descriptor from 3D object proposals and encoded sentence embeddings. This fused descriptor correlates language expressions with geometric features, enabling regression of the 3D bounding box of a target object. We also introduce the ScanRefer dataset, containing 51, 583 descriptions of 11, 046 objects from 800 ScanNet scenes. ScanRefer is the first large-scale effort to perform object localization via natural language expression directly in 3D. Then, we introduce the task of dense captioning in 3D scans from commodity RGB-D sensors. As input, we assume a point cloud of a 3D scene; the expected output is the bounding boxes along with the descriptions for the underlying objects. To address the 3D object detection and description problems, we propose Scan2Cap, an end-to-end trained method, to detect objects in the input scene and describe them in natural language. We use an attention mechanism that generates descriptive tokens while referring to the related components in the local context. Our method can effectively localize and describe 3D objects in scenes from the ScanRefer dataset, outperforming 2D baseline methods by a significant margin. Recent work on dense captioning and visual grounding in 3D have achieved impressive results. Despite developments in both areas, the limited amount of available 3D vision-language data causes overfitting issues for 3D visual grounding and 3D dense captioning methods. Also, how to discriminatively describe objects in complex 3D environments is not fully studied yet. To address these challenges, we present D3Net, an end-to-end neural speaker-listener architecture that can detect, describe and discriminate. Our method unifies dense captioning and visual grounding in 3D in a self-critical manner. Our method outperforms SOTA methods in both tasks on the ScanRefer dataset, surpassing the SOTA 3D dense captioning method by a significant margin. Consequently, we discuss the limitations and potential future directions of our research.     «

Grounding natural language to 3D scenes is an essential research topic for many upcoming interactive robotic agents or AR/VR applications. In recent years, there has been tremendous breakthroughs in segmenting objects in images from language. However, these methods and datasets are restricted to 2D views, where the 3D extent of an object and its surrounding environment are incompletely modelled. This limitation hinders applications where it is critical to understand the complete 3D context and t...     »

Das Verankern von natürlicher Sprache in 3D-Szenen ist ein wichtiges Forschungsthema für viele interaktive Roboteragenten oder AR/VR-Anwendungen. In den letzten Jahren gab es enorme Durchbrüche bei der Segmentierung von Objekten in Bildern aus der Sprache heraus. Diese Methoden und Datensätze beschränken sich jedoch auf 2D-Ansichten, in denen die 3D-Ausdehnung eines Objekts und seiner Umgebung unvollständig modelliert sind. Diese Begrenzung hindert Anwendungen, bei denen es entscheidend ist, den vollständigen 3D-Kontext und die physische Größe zu verstehen, z.B. beim Umgang mit Objekten in Innenräumen. In dieser Dissertation untersuchen wir mögliche Deep-Learning-basierte Methoden für textbasiertes Szenenverständnis auf RGB-D-Daten. Zunächst führen wir die Aufgabe der 3D-Objektlokalisierung in RGB-D-Scans unter Verwendung von natürlicher Sprachbeschreibung ein. Als Eingabe nehmen wir eine Punktewolke einer gescannten 3D-Szene zusammen mit einer freien Beschreibung eines bestimmten Zielobjekts an. Um diese Aufgabe anzugehen, schlagen wir ScanRefer vor, das eine verschmolzene Beschreibung aus 3D-Objektvorschlägen und kodierten Satzembeddings lernt. Dieser verschmolzene Deskriptor korreliert Sprachausdrücke mit geometrischen Merkmalen und ermöglicht die Regression des 3D-Begrenzungsrahmens eines Zielobjekts. Wir stellen auch das ScanRefer-Datenset vor, das 51.583 Beschreibungen von 11.046 Objekten aus 800 ScanNet-Szenen enthält. ScanRefer ist der erste groß angelegte Versuch, eine Objektlokalisierung über natürliche Sprachausdrücke direkt in 3D durchzuführen. Als nächstes stellen wir die Aufgabe des Dense Captioning in 3D-Scans von handelsüblichen RGB-D-Sensoren vor. Dabei nehmen wir als Eingabe einen Punktwolken-Datensatz einer 3D-Szene an und erwarten als Ausgabe die Begrenzungskästen (bounding boxes) zusammen mit Beschreibungen der darunterliegenden Objekte. Um die Probleme der 3D-Objekterkennung und -beschreibung anzugehen, schlagen wir Scan2Cap vor, eine end-to-end trainierte Methode, um Objekte in der Eingangsszene zu erkennen und in natürlicher Sprache zu beschreiben. Wir verwenden einen Aufmerksamkeitsmechanismus, der beschreibende Token generiert, während er auf die damit verbundenen Komponenten im lokalen Kontext Bezug nimmt. Unsere Methode kann 3D-Objekte in Szenen des ScanRefer-Datensatzes effektiv lokalisieren und beschreiben und übertrifft 2D-Baseline-Methoden deutlich. Aktuelle Arbeiten zur dichten Bildbeschreibung und visuellen Verankerung in 3D haben beeindruckende Ergebnisse erzielt. Trotz Entwicklungen in beiden Bereichen führt die begrenzte Menge verfügbarer 3D-Vision-Sprachdaten zu Überanpassungsproblemen für 3D-Visuelle-Verankerungs- und 3D-Dichte-Bildbeschreibungsmethoden. Auch die Frage, wie Objekte in komplexen 3D-Umgebungen diskriminativ beschrieben werden können, ist noch nicht vollständig untersucht. Um diese Herausforderungen anzugehen, präsentieren wir D3Net, eine end-to-end neuronale Sprecher-Hörer-Architektur, die erkennen, beschreiben und diskriminieren kann. Unser D3Net vereint die dichte Bildbeschreibung und visuelle Verankerung in 3D in einer selbstkritischen Weise. Unsere Methode übertrifft SOTA-Methoden in beiden Aufgaben auf dem ScanRefer-Datensatz und übertrifft die SOTA 3D-Dichte-Bildbeschreibungsmethode erheblich. Infolgedessen diskutieren wir die Grenzen und möglichen zukünftigen Richtungen unserer Forschung.     «

Das Verankern von natürlicher Sprache in 3D-Szenen ist ein wichtiges Forschungsthema für viele interaktive Roboteragenten oder AR/VR-Anwendungen. In den letzten Jahren gab es enorme Durchbrüche bei der Segmentierung von Objekten in Bildern aus der Sprache heraus. Diese Methoden und Datensätze beschränken sich jedoch auf 2D-Ansichten, in denen die 3D-Ausdehnung eines Objekts und seiner Umgebung unvollständig modelliert sind. Diese Begrenzung hindert Anwendungen, bei denen es entscheidend ist, den...     »