A robot that interacts with a human has to be able to interpret information from various input channels: it needs to understand and analyse the utterances by the human, it has to keep track of its own environment using sensors, and it needs to incorporate background knowledge about the task it was built for. Typically, a human-robot interaction system has various specialised system components that implement these abilities. Thus, the robot also needs to merge the information from its input channels so that it is able to complete its assigned task. This integration of information from input channels is called multimodal fusion. This thesis presents two approaches for multimodal fusion for a robot that jointly cooperates with a human partner. The first approach, which is called classical multimodal fusion, focusses on processing human utterances. For that, the robot processes speech and gestures of its human partner using methods from classical artificial intelligence to yield logical representations of the utterances. Following that, these representations are enhanced with further information from other input modalities of the robot. In contrast to that, in the second approach the robot generates representations for its own actions in relation to objects in its environment, so-called embodied multimodal fusion. Here, the system uses the data from its input channels to evaluate the relevance of its own actions for a given context. After a literature review, this thesis discusses the theoretical basis of both multimodal fusion approaches and presents how these methods can be implemented on a robot that is able to work together with a human on a common construction task, for which it processes multimodal input. These implementations were used in three human-robot interaction studies, in which naive subjects worked together with the robot. The experiments were executed to study different aspects of joint action between human and robot. The results of the experiments reveal several interesting facts: the first experiment studies how the robot can explain building plans to the human. The results of the study show that the users preferred a plan explanation strategy in which the robot first names the target object and after that explains the single building steps. The first as well as the second experiment study the generation of referring expression in two different contexts. The results of the studies suggest that experiment participants rate the robot as a better dialogue partner when the robot makes full use of context information to generate referring expressions. Finally, the third experiment studies how humans perceive different roles of the robot in the interaction. The study shows that the users equally accept the robot as an instructor or as an equal partner and simply adjust their own behaviour to the robot's role.     «

A robot that interacts with a human has to be able to interpret information from various input channels: it needs to understand and analyse the utterances by the human, it has to keep track of its own environment using sensors, and it needs to incorporate background knowledge about the task it was built for. Typically, a human-robot interaction system has various specialised system components that implement these abilities. Thus, the robot also needs to merge the information from its input chann...     »

Ein Roboter, der mit einem Menschen interagieren soll, muss in der Lage sein Daten aus unterschiedlichen Eingabekanälen zu verarbeiten: Er muss die Äußerungen des Menschen verstehen und verarbeiten können, mit Sensoren seine Umgebung überwachen und er muss mit Kontextinformationen über die Aufgabe, für die er programmiert wurde, umgehen können. Üblicherweise werden diese unterschiedlichen Fähigkeiten in einem Mensch-Roboter-Interaktionssystem durch spezialisierte Einzelteile realisiert. Daher muss der Roboter auch in der Lage sein die Informationen aus seinen Eingabekanälen zu integrieren. Diese Integration von Informationen aus Eingabekanälen wird multimodale Fusion genannt. In dieser Arbeit werden zwei Ansätze für multimodale Fusion für einen Roboter, der mit einem Menschen zusammenarbeitet, vorgestellt. Der erste Ansatz, die sogenannte classical multimodal fusion, ist auf die Verarbeitung von menschlichen Äußerungen fokussiert. Hier verarbeitet der Roboter die Sprache und Gesten seines menschlichen Partners mit klassischen Methoden der künstlichen Intelligenz um eine logische Repräsentation der Äußerungen zu erstellen. Anschließend wird diese Repräsentation mit Kontextinformationen von anderen Eingabemodalitäten des Roboter angereichert. Im Gegensatz dazu generiert der Roboter bei dem zweiten Ansatz, der sogennanten embodied multimodal fusion, Repräsentationen die seine eigenen Handlungen in Bezug zu Objekten in seiner Umgebung stellen. Die Informationen aus den Eingabekanälen des Roboters, zu denen auch die menschlichen Äußerungen gehören, verwendet der Roboter dazu, die Relevanz seiner eigenen Aktionen für einen gegebenen Kontext zu bewerten. Nach einer Literaturrecherche werden in dieser Arbeit zunächst die theoretischen Grundlagen für die beiden vorgestellten Ansätze zur multimodalen Fusion diskutiert und eine Implementierung auf einem Roboter vorgestellt, der in der Lage ist mit einem Menschen zusammen an einer gemeinsamen Aufgabe zu arbeiten und dabei multimodale Eingaben verarbeitet und auch multimodale Äußerungen generiert. Die vorgestellten Implementierungen werden dazu verwendet um drei Mensch-Roboter-Interaktionsexperimente durchzuführen, in denen unbefangene Versuchspersonen mit dem Roboter zusammenarbeiten. Diese Experimente dienen dazu verschiedene Aspekte der Zusammenarbeit zwischen Mensch und Roboter zu erforschen. Die Experimente zeigen mehrere interessante Ergebnisse: Das erste Experiment zeigt, dass die Benutzer es bevorzugen, wenn der Roboter beim Erklären von Bauplänen zuerst das zu bauende Zielobjekt benennt und erst danach die einzelnen Bauschritte erklärt und nicht umgekehrt. Sowohl das erste als auch das zweite Experiment zeigen, dass die Menschen den Roboter als besseren Dialogpartner wahrnehmen, wenn dieser beim Benennen von Objekten in seiner Umgebung Ausdrücke verwendet, die Kontextinformation mit einbeziehen. Dies konnte in zwei verschiedenen Kontexten gezeigt werden. Das dritte Experiment zeigt, dass die Versuchspersonen keine klare Präferenz haben, welche Rolle der Roboter in der Interaktion einnimmt (sei es als Instrukteur oder als gleichberechtigter Partner), sondern einfach das eigene Verhalten an das des Roboters anpassen.     «

Ein Roboter, der mit einem Menschen interagieren soll, muss in der Lage sein Daten aus unterschiedlichen Eingabekanälen zu verarbeiten: Er muss die Äußerungen des Menschen verstehen und verarbeiten können, mit Sensoren seine Umgebung überwachen und er muss mit Kontextinformationen über die Aufgabe, für die er programmiert wurde, umgehen können. Üblicherweise werden diese unterschiedlichen Fähigkeiten in einem Mensch-Roboter-Interaktionssystem durch spezialisierte Einzelteile realisiert. Daher mu...     »