With the Internet of Things expanding into our homes and offices, we can expect fixtures in buildings to become more interconnected and more numerous as part of an increasingly complex and powerful integrated smart environment. However, this raises new challenges in the area of usability since today's rooms are already cluttered with multiple user interfaces in the form of buttons and remote controls. In the future, as more technology is embedded into buildings, users must have the opportunity to choose and to combine a heterogeneous set of devices and modalities. Multimodal User Interaction technology aims at creating natural and intuitively usable interfaces, allowing a user to interact with systems in a way similar to human-to-human communication. The combination of modalities, such as gestures, speech and gaze-tracking provides occupants with an integrated and intuitive interface for diverse addressable fixtures in buildings. However, creating multimodal interfaces remains a complex and highly specialized task. This research describes MIBO – a framework to enable and define multimodal intuitive building controls. It supports the integration and combination of multiple interaction modalities, e.g., gesture recognition, speech recognition, eye-tracking but also traditional button controls and performs the multimodal fusion. It also provides a meta model and an extensible domain-specific language to describe a multimodal interaction model and to separate it from its implementation. This enables prototyping of new control systems for developers and allows end-users the configuration of desired interactions in a building. The framework has been applied in three real-world applications, each in at least two different buildings with more than 20 users, demonstrating the feasibility and efficiency of our approach.     «

With the Internet of Things expanding into our homes and offices, we can expect fixtures in buildings to become more interconnected and more numerous as part of an increasingly complex and powerful integrated smart environment. However, this raises new challenges in the area of usability since today's rooms are already cluttered with multiple user interfaces in the form of buttons and remote controls. In the future, as more technology is embedded into buildings, users must have the opportunity t...     »

Das Internet der Dinge erstreckt sich zunehmend auf unsere Wohn- und Arbeitsräume. Wir können erwarten, dass Gebäudevorrichtungen in größerer Anzahl immer stärker miteinander verbunden sein werden, als Teil einer komplexeren, leistungsfähigeren, integrierten, intelligenten Umgebung. Dies bringt jedoch neue Herausforderungen im Bereich der Bedienbarkeit mit sich, da die heutigen Räume bereits mit einer Vielzahl von Benutzerschnittstellen in Form von Knöpfen und Fernbedienungen überhäuft sind. Mit immer mehr Technologie, die in Gebäude eingebettet wird, muss der Benutzer in der Zukunft die Möglichkeit erhalten, aus einer heterogenen Menge von Geräten und Modalitäten auszuwählen und diese zu kombinieren. Multimodale Benutzerinteraktion zielt darauf ab, natürliche und intuitiv bedienbare Schnittstellen bereitzustellen, die es dem Nutzer erlauben, mit Systemen in einer Weise zu interagieren, vergleichbar mit der Mensch-zu-Mensch Kommunikation. Die Kombination von Modalitäten wie Gesten, Sprache, Blick-Verfolgung gibt Gebäudeinsassen die Möglichkeit einer integrierten und intuitiven Benutzerschnittstelle für verschiedene adressierbare Gebäudevorrichtungen. Das Erzeugen von multimodalen Schnittstellen ist jedoch immer noch eine komplexer und hoch spezialisierte Tätigkeit. Diese Dissertation beschreibt MIBO, ein Rahmenwerk zur Realisierung und Definition von multimodalen intuitiven Gebäudesteuerungen. Es unterstützt die Kombination und Integration von verschiedenen Interaktionsmodalitäten, z. B. Gesten-Erkennnnung, Spracherkennung, Blickverfolgung, aber auch traditionellen Schaltflächen. Es stellt zudem ein Meta-Modell und eine erweiterbare domänen-spezifische Sprache bereit zur Beschreibung von multimodalen Interaktionsmodellen und um die Modelle von ihrer Implementierung zu trennen. Dies ermöglicht Entwicklern die Entwicklung von Prototypen für neue Steuerungssysteme und erlaubt Endbenutzern die Konfiguration von gewünschten Interaktionen in einem Gebäude. Zur Demonstration der Machbarkeit und der Wirksamkeit des Ansatzes wurde das Rahmenwerk in drei Fallstudien angewendet, jede davon in mindestens zwei verschiedenen Gebäuden mit mehr als 20 Benutzern.     «

Das Internet der Dinge erstreckt sich zunehmend auf unsere Wohn- und Arbeitsräume. Wir können erwarten, dass Gebäudevorrichtungen in größerer Anzahl immer stärker miteinander verbunden sein werden, als Teil einer komplexeren, leistungsfähigeren, integrierten, intelligenten Umgebung. Dies bringt jedoch neue Herausforderungen im Bereich der Bedienbarkeit mit sich, da die heutigen Räume bereits mit einer Vielzahl von Benutzerschnittstellen in Form von Knöpfen und Fernbedienungen überhäuft sind. Mit...     »