Environment models serve as important resources for an autonomous robot by providing it with the necessary task-relevant information about its habitat. Their use enables robots to perform their tasks more reliably, flexibly, and efficiently. As autonomous robotic platforms get more sophisticated manipulation capabilities, they also need more expressive and comprehensive environment models: for manipulation purposes their models have to include the objects present in the world, together with their position, form, and other aspects, as well as an interpretation of these objects with respect to the robot tasks. This thesis proposes Semantic 3D Object Models as a novel representation of the robot's operating environment that satisfies these requirements and shows how these models can be automatically acquired from dense 3D range data. The thesis contributes in two important ways to the research area acquisition of environment models. The first contribution is a novel framework for Semantic 3D Object Model acquisition from Point Cloud Data. The functionality of this framework includes robust alignment and integration mechanisms for partial data views, fast segmentation into regions based on local surface characteristics, and reliable object detection, categorization, and reconstruction. The computed models are semantic in that they infer structures in the data that are meaningful with respect to the robot task. Examples of such objects are doors and handles, supporting planes, cupboards, walls, or movable smaller objects. The second key contribution is point cloud representations based on 3D point feature histograms (3D-PFHs), which model the local surface geometry for each point. 3D-PFHs distinguish themselves from alternative 3D feature representations in that they are very fast to compute, robust against variations in pose and sampling density, and cope well with noisy sensor data. Their use substantially improves the quality of the Semantic 3D Object Models acquired, as well as the speed with which they are computed. 3D-PFHs come with specific software tools that allow for the learning of surface characteristics based on their underlying geometry, the assembly of most distinctive 3D points from a given cloud, as well as limited view-invariant correspondence search for 3D registration. The contributions presented in this thesis have been fully implemented and empirically evaluated on different robots performing different tasks in different environments. The first demonstration relates to the problem of cleaning tables by disposing the objects on them into a garbage bin with a personal robotic assistant in the presence of humans in its working space. The framework for Semantic 3D Object Model acquisition is demonstrated and used to construct dynamic 3D collision maps, annotate the surrounding world with semantic labels, and extract object clusters supported by tables in real-time performance. The second demonstration presents an on-the-fly model acquisition system for door and handle identification from noisy 3D point cloud maps. Experimental results show good robustness in the presence of large variations in the data, without suffering from the classical under or over-fitting problems usually associated with similar initiatives based on machine learning classifiers. The third application example tackles the problem of real-time semantic mapping of outdoor environments with different kinds of terrain classes, such as walkways and stairs, for the navigation of a six-legged robots with terrain-specific walking modes.      «

Environment models serve as important resources for an autonomous robot by providing it with the necessary task-relevant information about its habitat. Their use enables robots to perform their tasks more reliably, flexibly, and efficiently. As autonomous robotic platforms get more sophisticated manipulation capabilities, they also need more expressive and comprehensive environment models: for manipulation purposes their models have to include the objects present in the world, together with th...     »

Umgebungsmodelle dienen als wichtige Ressource für autonome Roboter, weil sie die Roboter mit den nötigen aufgabenrelevanten Informationen über ihr Umfeld versorgen. Sie erlauben Robotern, ihre Funktionen zuverlässiger, flexibler und effizienter auszuführen. Um die Manipulationsfähigkeiten autonomer Roboter zu verbessern, müssen die Roboter insbesondere ausdrucksstärkere und umfassendere Umgebungsmodelle verwenden: Für Manipulationsaufgaben müssen diese Modelle die Objekte enthalten, die in der Umwelt vorhanden sind, zusammen mit ihren Positionen, Formen und anderen Aspekten, sowie eine Interpretation dieser Objekte in Bezug auf die Aufgabenstellungen des Roboters. Diese Dissertation entwickelt, realisiert und analysiert Semantische 3D-Objektmodelle als neuartige Repräsentation der Arbeitsumgebung des Roboters, die diese Anforderungen erfüllt. Sie zeigt, wie diese Modelle aus dichten 3D Laserscandaten automatisch erzeugt werden können. Die Arbeit leistet zwei wichtige Beiträge zur Erzeugung von Umgebungsmodellen. Der erste Beitrag ist ein neues konzeptuelles Schemas fuer die Berechnung von Semantischen 3D Objektmodellen aus Punktwolken. Die Funktionalität dieses konzeptuellen Schemas beinhaltet robuste Ausrichtung für und Integrationsmechanismen von Teilansichten der Szenen, schnelle Segmentierung in unterschiedliche Cluster basierend auf den lokalen Oberflächeneigenschaften, und zuverlässige Objekterkennung, Kategorisierung, und Rekonstruktion. Die semantischen Aspekte der berechneten Modelle umfassen die Segmentierung in Komponenten, die im Bezug auf die Aufgabenstellungen des Roboters bedeutungsvoll sind. Beispiele fuer derartige Objekte sind Türen und Türgriffe, tragende horizontale Ebenen, Schränke, Wände, oder bewegbare kleinere Objekte. Der zweite Schlüsselbeitrag ist auf 3D Punkt Feature Histogrammen (3D-PFH) basierende Punktwolken-Repräsentationen, die die lokale Oberflächengeometrie für jeden Punkt modellieren. 3D-PFHs heben sich von alternativen 3D-Feature-Darstellungen insofern ab, dass sie sehr schnell berechenbar und robust gegen Variationen von Posen oder Abtastdichte sind und gut mit fehlerbehafteten und verrauschten Sensordaten zurechtkommen. Ihre Verwendung verbessert substantiell die Qualität der erzeugten Semantischen 3D-Objektmodelle, sowie die Geschwindigkeit, mit der diese berechnet werden. Die vorgestellten 3D-PFHs werden durch Software-werkzeuge komplementiert, die das Erlernen von Oberflächen-Charakteristika anhand ihrer zugrundeliegenden Geometrie, die Zusammenstellung der charakteristischsten Punkte einer gegebenen Punktwolke, sowie eingeschränkte blickwinkelinvariante Korrespondenzsuche für die 3D-Registrierung erlauben. Die in dieser Arbeit vorgestellten Beiträge wurden vollständig implementiert und auf verschiedenen Roboterplattformen, für unterschiedliche Aufgabenstellungen und in verschiedenen Umgebungen empirisch evaluiert. Das erste Anwendungsbeispiel ist das Leerraeumen eines Tisches in Anwesenheit von Menschen. In diesem Beispiel werden semantische 3D-Objektmodelle benutzt, um dynamische 3D-Kollisionskarten zu berechnen, um Sensordaten semantisch zu annotieren und um Objekte auf Tischen zu detektieren. Das zweite Anwendungsbeispiel ist ein System für die Akquisition von Modellen zur Identifizierung von Türen und Türgriffen aus 3D-Punktwolken. Ergebnisse der Experimente zeigen gute Robustheit gegen Sensorrauschen. Das dritte Anwendungsbeispiel betrachtet die Erkundung und Kartographierung von Aussenumgebungen mit verschiedenen Arten von Untergründen, wie beispielsweise Gehwege und Treppen. Die erzeugten Karten dienen zur Navigation eines sechsbeinigen Roboters mit untergrundspezifischen Gehmodi.      «

Umgebungsmodelle dienen als wichtige Ressource für autonome Roboter, weil sie die Roboter mit den nötigen aufgabenrelevanten Informationen über ihr Umfeld versorgen. Sie erlauben Robotern, ihre Funktionen zuverlässiger, flexibler und effizienter auszuführen. Um die Manipulationsfähigkeiten autonomer Roboter zu verbessern, müssen die Roboter insbesondere ausdrucksstärkere und umfassendere Umgebungsmodelle verwenden: Für Manipulationsaufgaben müssen diese Modelle die Objekte enthalten, die in der...     »