Todays standard input devices for graphical user interfaces, mouse and keyboard, cannot be utilized by users whose motor functions are limited. Examples include users suffering from motor restrictions due to illnesses and users in application domains with manual activities. This dissertation engages in the research area speech-controlled graphical user interfaces which aims at finding a solution to this problem by utilizing speech as input modality for graphical user interfaces. We begin with defining a taxonomy which differentiates the state of the art into two groups: speech-based mouse emulation and command-and-control. Speech-based mouse emulation uses spoken commands to emulate the functions of the mouse device (the keyboard, respectively). The user manipulates graphical objects indirectly by the functions of the mouse cursor, which are triggered by spoken commands. Command-and-control uses spoken commands to facilitate a direct control of interactive functions of graphical objects. Speech-based mouse emulation is universally applicable due to the operating system-wide available functions of the mouse cursor, whereas the spoken commands for command-and-control must be supported explicitly by each specific graphical object. Speech-based mouse emulation requires more user interaction than command-and-control. Thus, command-and-control requires less time to complete tasks than speech-based mouse emulation. However, the task completion times which can currently be achieved using command-and-control are at least 50% higher than the task completion times which can be achieved using mouse-controlled graphical user interfaces. For achieving lower task completion times with command-and-control we propose the approach conversation-and-control which is based on an extension of command-and-control by three new interaction techniques called qualified activation, automatic information error recovery and qualified feedback. Qualified activation and automatic information error recovery aim at reducing the average number of necessary spoken commands, and qualified feedback aims at reducing the average length of necessary spoken commands. Thus, we achieve a reduction of the average interaction time which results in a reduction of the average task completion time. We derive the theoretical concepts for conversation-and-control from a general model for speech-controlled graphical user interfaces, which we have developed during this work. In the first instance, we use a formal approach to verify these concepts. To show the practical feasibility of conversation-and-control, we develop an implementation concept for conversation-and-control on the basis of the formal model for speech-controlled graphical user interfaces. We realize the implementation concept in the form of a framework for conversation-and-control. Using this framework we conduct an experiment, which provides empirical confirmation of the formally predicted reduction of the average task completion time of conversation-and-control compared to command-and-control. We furthermore create prototypes of applications with graphical user interfaces supporting conversation-and-control in the application domain mobile maintenance.     «

Todays standard input devices for graphical user interfaces, mouse and keyboard, cannot be utilized by users whose motor functions are limited. Examples include users suffering from motor restrictions due to illnesses and users in application domains with manual activities. This dissertation engages in the research area speech-controlled graphical user interfaces which aims at finding a solution to this problem by utilizing speech as input modality for graphical user interfaces. We begin with de...     »

Die heutigen Standardeingabegeräte für graphische Benutzeroberflächen, Maus und Tastatur, können von Benutzern, deren motorische Fähigkeiten beeinträchtigt sind, nicht verwendet werden. Beispiele hierfür sind Benutzer mit krankheitsbedingt eingeschränkter Motorik und Benutzer in Anwendungsdomänen mit manuellen Tätigkeiten. Die vorliegende Arbeit beschäftigt sich mit dem Forschungsgebiet sprachgesteuerte graphische Benutzeroberflächen, welches durch den Einsatz von Sprache als Eingabemodalität für graphische Benutzeroberflächen nach Lösungen für dieses Problem sucht. Der Stand der Forschung wird zunächst in zwei Gruppen eingeteilt: sprachbasierte Mausemulation und Kommando-und-Steuerung. Sprachbasierte Mausemulation verwendet Sprachkommandos zur Emulation der Mausfunktionen, bzw. der Tastatur. Der Benutzer kann mittels Sprachkommandos indirekt über die Funktionen des Mauszeigers graphische Objekte manipulieren. Kommando-und-Steuerung verwendet Sprachkommandos zur direkten Steuerung der interaktiven Funktionalität von graphischen Objekten. Sprachbasierte Mausemulation ist durch die betriebssystemweit verfügbaren Funktionen des Mauszeigers universell anwendbar, während die Sprachkommandos für Kommando-und-Steuerung vom jeweils zu steuernden graphischen Objekt explizit unterstützt werden müssen. Sprachbasierte Mausemulation erfordert mehr Interaktion durch den Benutzer als Kommando-und-Steuerung, somit können Aufgaben mittels Kommando-und-Steuerung schneller ausgeführt werden. Die mittels Kommando-und-Steuerung erreichten Ausführungzeiten sind jedoch derzeit noch um mindestens 50% höher als die Ausführungszeiten, die mit mausgesteuerten graphischen Oberflächen erreicht werden. Um die Ausführungzeiten mittels Kommando-und-Steuerung zu verkürzen, schlägt diese Dissertation den Ansatz Konversation-und-Steuerung vor, welcher auf einer Erweiterung von Kommando-und-Steuerung durch drei neue Interaktionstechniken, genannt qualifizierte Aktivierung, automatische Behebung von Informationsfehlern und qualifizierte Rückmeldung, beruht. Qualifizierte Aktivierung und automatische Behebung von Informationsfehlern reduzieren die durchschnittliche Anzahl der benötigten Sprachkommandos, während qualifizierte Rückmeldung auf eine Reduzierung der durchschnittlichen Länge der Sprachkommandos abzielt. Dadurch wird eine Reduzierung der durchschnittlichen Interaktionszeit erreicht, was sich in einer reduzierten durchschnittlichen Ausführungzeit niederschlägt. Die theoretischen Grundlagen für Konversation-und-Steuerung werden von einem in dieser Arbeit entwickelten formalen Modell für sprachgesteuerte graphische Oberflächen abgeleitet und formal verifiziert. Um die Machbarkeit von Konversation-und-Steuerung zu zeigen wird auf Basis des formalen Modells ein Implementierungskonzept entworfen und dessen Realisierung in Form eines Frameworks für Konversation-und-Steuerung beschrieben. Mit Hilfe des Frameworks wird ein Experiment durchgeführt, womit die formal prognostizierte Reduzierung der durchschnittlichen Ausführungszeiten empirisch nachgewiesen wird. Das Framework diente ferner als Grundlage für die Erstellung von prototypischen Anwendungen mit graphischen Oberflächen aus der Anwendungsdomäne Mobile Wartung, welche Konversation-und-Steuerung unterstützen.     «

Die heutigen Standardeingabegeräte für graphische Benutzeroberflächen, Maus und Tastatur, können von Benutzern, deren motorische Fähigkeiten beeinträchtigt sind, nicht verwendet werden. Beispiele hierfür sind Benutzer mit krankheitsbedingt eingeschränkter Motorik und Benutzer in Anwendungsdomänen mit manuellen Tätigkeiten. Die vorliegende Arbeit beschäftigt sich mit dem Forschungsgebiet sprachgesteuerte graphische Benutzeroberflächen, welches durch den Einsatz von Sprache als Eingabemodalität fü...     »