To date, conventional color imaging has become highly sophisticated with images and videos of ultra-high resolution, high dynamic range and wide color gamut. Beyond these well-known features, we observe an introduction of computational methods into 2D imaging, enabled by the enormous performance of today's graphics processors. Thus, the next evolutionary step comprises computational methods utilizing 3D information within a capture volume. However, there is still a severe lack of combined high-quality 2D and 3D capture technology in the consumer and even more in the professional domain. There are depth sensing technologies available, such as Time-of-Flight imagers. But they suffer from very low resolution, strong noise and the missing integration into a practical professional camera setup. Moreover, today's setups are limited because of complex 3D camera calibration processes, which are essential, when providing consistent RGBD data. Binocular RGBD camera approaches typically suffer from a fragile 3D calibration and mutual occlusion, which are difficult to resolve. Given a set of RGBD data, an important element in today's research is the rendering of synthetic lens characteristics offering new flexibility. Thereby, real lens characteristics like defocused areas are eventually no longer irremovably incorporated in the recorded images. State-of-the-art methods for lens synthesis and deblurring are limited as they require depth maps, which are not provided by professional cameras yet, and a tremendous amount of manual supervision. Furthermore, the real-time availability of RGBD data allows for real-time interaction of computer-generated content and live action, as they can be spatially registered for the first time. In this dissertation, a novel generalized monocular RGBD camera system is proposed. It integrates a high-quality RGB sensor and a depth sensor of different size, behind one main lens. Moreover, an in-depth evaluation of the main optical parameters, which imply the spatial consistency of such a camera approach, is given. Using our camera, its proposed simplicity and the robustness of sensor registration is verified. The evaluations show that the viewpoints of both sensing systems are identical with respect to certain constraints. Moreover, solutions to acquired optical multi-spectral artifacts of our system are provided. Furthermore, this work proposes essential sensor fusion methods for Time-of-Flight-specific noise reduction, effective depth map upscaling and global depth map denoising to finally arrive at a signal processing workflow delivering a highly enhanced amount of spatial and temporal consistency of the delivered RGBD data. Based on this foundation, novel methods for synthetic cinematic depth-of-field synthesis as well as its inverse, the depth-guided deblurring process, are provided. Our approach deeply integrates knowledge about the camera system into the algorithms to overcome state-of-the-art methods in effectiveness and automatization. Concluding, the applicability of our camera in a novel approach for seamless interaction of computer-generated content and live action, is demonstrated.      «

To date, conventional color imaging has become highly sophisticated with images and videos of ultra-high resolution, high dynamic range and wide color gamut. Beyond these well-known features, we observe an introduction of computational methods into 2D imaging, enabled by the enormous performance of today's graphics processors. Thus, the next evolutionary step comprises computational methods utilizing 3D information within a capture volume. However, there is still a severe lack of combined h...     »

Klassische Bildaufnahmetechnik befindet sich heute in einem sehr hochentwickelten Stadium. Professionelle Kameras besitzen ultrahochauflösende Sensoren und bilden große Dynamikbereiche sowie einen umfangreichen Farbraum ab. Aktuell begegnen wir jedoch auf Grund der zunehmenden Verfügbarkeit von sehr leistungsfähiger Grafikverarbeitung einem Bruch mit der evolutionären Kameraentwicklung. Diese neuen Methoden ermöglichen eine weit größere Palette an Signalverarbeitung, die sich vermehrt aus dem 2D Bildraum in das 3D Aufnahmevolumen verlagert. Es gibt jedoch im Konsumentenmarkt und vor allem im professionellen Bereich einen ernstzunehmenden Mangel an kombinierter 2D und 3D Aufnahmetechnologie. Die verfügbaren aktiven Methoden zur Aufnahme von vollständigen Tiefenkarten, wie beispielsweise Time-of-Flight Kameras, leiden derzeit an sehr niedriger Auflösung und starkem Rauschen. Im Kameraumfeld fehlt zudem eine praktikable Integration, welche die Limitationen von heutigen Multikameraanordnungen übertrifft. Letztere benötigen aufwendige 3D Kalibrierroutinen, um konsistente Farb- und Tiefenströme abzuliefern. 3D Kalibrierung ist jedoch instabil und sehr anfällig für kleineste geometrische Änderungen der Kameraanordnung. Zudem erzeugen heutige Multikamerasysteme prinzipbedingt gegenseitige Verdeckungen, die man nur bedingt und unter hohem methodischen Aufwand rekonstruieren kann. Die aktuelle Forschung beschäftigt sich jedoch stark mit RGBD Datenströmen. Ein wichtiger Bereich ist die Synthese der Abbildungseigenschaften eines Objektivs. Lässt sich diese anstelle der Verwendung eines echten hochklassigen Objektivs simulieren, ermöglicht dies einen neuen Grad der Flexibilität. Beispielsweise, ist es damit möglich, charakteristische Unschärfe kontrolliert zu erzeugen. Fehlerhafte Fokussierung gehöre somit der Vergangenheit an. Der Stand der Technik im Bereich Abbildungssynthese und Rekonstruktion von verunschärften Bildbereichen ist stark eingeschränkt, da die hierfür benötigten Tiefenkarten in der Praxis nicht verfügbar sind. Deshalb benötigen derartige Methoden aktuell ein hohes Maß an menschlicher Parametrisierung. Eine völlig neue Dimension stellt die Verfügbarkeit von RGBD-Daten in Echtzeit dar. Damit kann erstmals realer Bildinhalt mit computer-generierten Modellen interagieren. Die vorliegende Dissertation stellt in diesem Zusammenhang das verallgemeinertes Prinzip einer monokularen RGBD Kamera vor. Hierbei wird ein hochqualitatives RGB Kamerasystem mit einem Time-of-Flight Tiefensensor verschmolzen. Die Verallgemeinerung besteht in der nun freien Skalierung des Tiefensensors. In der Arbeit wird hierfür eine grundlegende Evaluierung der einflussreichen optischen Parametern, welche die geometrische Konsistenz der RGB- und Tiefenbildströme bedingen, durchgeführt. Die durchgeführten Untersuchungen zeigen, dass die wesentliche Hypothese der Fusion beider Abbildungszentren unter Rahmenbedingungen bewiesen werden kann. Die Robustheit des Ansatzes, welche sich vor allem in einer stark vereinfachten Kalibrierung des monokularen Multikamerasystems zeigt, wird systematisch dargestellt. Neben der optischen Integration, besteht ein wesentlicher Bestandteil dieser Arbeit aus der notwendige Signalverarbeitungskette, basierend auf dem Prinzip der Sensorfusion. Darin werden neue Methoden für die Kernbestandteile, Entrauschen und Hochskalieren der Time-of-Flight Tiefenkarten, vorgestellt. Insbesondere werden für die Signalverarbeitung charakteristische Eigenschaften der Time-of-Flight Aufnahmemethodik herangezogen. Somit wird ein hohes Maß an zeitlich-örtlicher Konsistenz der RGBD Daten sichergestellt. Das vorgestellte System wird abschließend in vorgestellten Methoden zur Synthese der angesprochenen Objektivabbildung und deren Inversen evaluiert. Diese neuen Methoden zeigen nennenswerte Verbesserungen gegenüber dem Stand der Technik. Abschießend wird die Anwendbarkeit unseres Kameraansatzes in einer Echtzeitumgebung demonstriert. Wir zeigen die nahtlose und facettenreiche Interaktion von realem Inhalt und computer-generierten Elementen.      «

Klassische Bildaufnahmetechnik befindet sich heute in einem sehr hochentwickelten Stadium. Professionelle Kameras besitzen ultrahochauflösende Sensoren und bilden große Dynamikbereiche sowie einen umfangreichen Farbraum ab. Aktuell begegnen wir jedoch auf Grund der zunehmenden Verfügbarkeit von sehr leistungsfähiger Grafikverarbeitung einem Bruch mit der evolutionären Kameraentwicklung. Diese neuen Methoden ermöglichen eine weit größere Palette an Signalverarbeitung, die sich vermehrt aus dem 2D...     »