This dissertation introduces a novel system for collaborative telepresence based on the mutual integration of two users' surroundings into a consensus reality. Other than in classical videoconferences or immersive telepresence systems, there is no separation between the users' environments. Instead, the users have the impression of standing in their own room and see their conversation partner rendered through a head mounted display, as if they shared the same physical space. The following pages describe the overall system architecture required to achieve this effect and provide an examination of the two core challenges arising from this interaction scenario. In order to integrate two differently shaped rooms into a shared environment, the position of the users and the layout of the floorspace must be aligned carefully. At first, the human pose tracking is considered in detail. This tracking of posture can be understood as a high dimensional optimisation problem in a stochastic framework. The central problem of approximating the observation likelihood of a given pose is discussed in detail. Furthermore, the integration of the resulting approximation function into an Annealing Particle Filter is described and evaluated extensively. Once the users' poses and positions are known, their environment can be merged into a shared consensus reality. This leads to a second optimisation problem. Since the participating rooms can have very different layouts, discontinuities between the two spaces can destroy the illusion of co-presence. The problem is expressed through a series of energy functions, which can be approached as a maximisation problem. The design of these energy terms is discussed in detail and a thorough examination of their characteristics is given. Common to both topics is the expression of otherwise intractable problems in a global optimisation framework and their central role in driving the envisioned telepresence system. While the creation of the consensus reality sets the foundation for projecting two rooms into a common workspace, the human pose tracking then drives the interaction with virtual content. The goal is to provide a channel for communication over distance which incorporates not only visual and auditory cues, but allows the users to interact naturally by sharing the same physical space - even if they are on different continents.     «

This dissertation introduces a novel system for collaborative telepresence based on the mutual integration of two users' surroundings into a consensus reality. Other than in classical videoconferences or immersive telepresence systems, there is no separation between the users' environments. Instead, the users have the impression of standing in their own room and see their conversation partner rendered through a head mounted display, as if they shared the same physical space. The following pag...     »

Diese Dissertation stellt ein neuartiges System für die kollaborative Telepräsenz vor. Hierbei werden die Räume der beiden Teilnehmer in eine gemeinsame Konsens-Realität zusammengeführt. Im Unterschied zu herkömmlichen Videokonferenzsystemen oder immersiven Telepräsenzsystemen wird dabei keine statische Trennung zwischen den teilnehmenden Umgebungen vorgenommen. Die Benutzer des Systems haben daher stets den Eindruck, in ihrem eigenen Raum zu verbleiben. Der Gesprächspartner wird jeweils über ein Head Mounted Display dargestellt und natürlich in die Umgebung eingefügt. Dabei teilen sich beide Teilnehmer einen gemeinsamen virtuellen Raum, der im Hintergrund die beiden örtlich getrennten Lokalitäten in einen Arbeitsraum zusammenfasst. In den folgenden Kapiteln werden die theoretischen Grundlagen sowie die Gesamtarchitektur des Systems beschrieben. Aus der Konzeption des Systems ergeben sich zwei zentrale Herausforderungen, die im weiteren Verlauf dieser Dissertation genauer untersucht werden. Die Kenntnis der Körperhaltung der Benutzer ist zentral für die Interaktion mit dem System und die Konstruktion der Konsens-Realität. Die Erfassung der Haltung kann dabei als ein hochdimensionales Optimierungsproblem betrachtet werden. Zur Lösung bieten sich ein stochastisches Trackingverfahren an, der Annealing Particle Filter. Seine Funktionsweise und Adaption auf die Problemstellung wird ausführlich beschrieben und in einer Reihe von Experimenten untersucht. Dabei wird besonderes Augenmerk auf die Approximation der Beobachtungswahrscheinlichkeit gelegt. Auf Basis der bekannten Benutzerpositionen kann im Folgenden die Konsens-Realität konstruiert werden. Hier ergibt sich ein weiteres Optimierungsproblem. Falls nämlich die Räume nicht sorgfältig aufeinander abgebildet werden, können Brüche zwischen der Raumgeometrie die Illusion der Kopräsenz rasch zerstören. Daher wird die Geometrie und die Position der Benutzer in eine Reihe von Energiefunktionen überführt, die mittels globaler Optimierungsverfahren gelöst werden. Die Details der Problemformulierung und die Lösungsansätze werden ausführlich diskutiert. Eine Reihe von Experimenten illustriert dabei Charakteristiken der einzelnen Terme und untersucht die Eignung verschiedener Optimierungsverfahren. Beide Schwerpunkte haben gemein, dass analytisch nicht lösbare Probleme mittels globaler Optimierungsverfahren betrachtet werden. Ebenso sind beide Themen von zentraler Bedeutung für die Realisierung einer Videokonferenz in der Konsens-Realität. Während die Berechnung der Konsens-Realität die beiden Räume in ein gemeinsames Bezugssystem überführt, stellt die Haltungserkennung die Schnittstelle für die Interaktion mit virtuellen Objekten in diesem gemeinsamen Raum dar. Auf Basis dieser Grundlagen soll eine natürliche und nahtlose Integration von virtuellen Inhalten in Unterhaltungen ermöglicht werden - selbst wenn die Gesprächspartner auf verschiedenen Kontinenten stehen.     «

Diese Dissertation stellt ein neuartiges System für die kollaborative Telepräsenz vor. Hierbei werden die Räume der beiden Teilnehmer in eine gemeinsame Konsens-Realität zusammengeführt. Im Unterschied zu herkömmlichen Videokonferenzsystemen oder immersiven Telepräsenzsystemen wird dabei keine statische Trennung zwischen den teilnehmenden Umgebungen vorgenommen. Die Benutzer des Systems haben daher stets den Eindruck, in ihrem eigenen Raum zu verbleiben. Der Gesprächspartner wird jeweils über ei...     »