Basierend auf den Ergebnissen einer umfangreichen Usability-Untersuchung wird in der vorliegenden Arbeit ein generisches Konzept für die Verarbeitung multimodaler Benutzereingaben vorgestellt. Die zugrundeliegende Systemarchitektur operiert auf einer abstrakten Modellierung semantisch-dekodierter Benutzereingaben und ist unabhängig sowohl von der Art und der Anzahl der Eingabegeräte als auch von der Anwendungsdomäne universell verwendbar. Es wird ein innovativer, hybrider Integrationsalgorithmus diskutiert, der an das Prinzip der natürlichen Evolution angelehnt ist. Mehrere Lösungshypothesen konkurrieren miteinander im Hinblick auf eine optimale Interpretation der Benutzerinteraktionen. Das Maß für die Sicherheit einer spezifischen Integrationshypothese wird aus einer statistisch gewichteten Bewertung ermittelt, in der die semantische Repräsentation der aktuellen Benutzereingabe, die zeitlichen Beziehungen zwischen den Symbolsequenzen, die Zustände der einzelnen Systemmodule, empirische Benutzerdaten und vorherige Integrationsergebnisse eingehen. Spezielle genetische Operatoren verbinden die Eigenschaften von guten Problemlösungen und erzeugen in einem iterativen Prozess neue Integrationsergebnisse. In Kombination mit einer regelbasierten Vorverarbeitung für die zeitliche Segmentierung zusammengehöriger Informationsanteile ermöglicht dieses Konzept einen flexiblen, intuitiven und fehlerrobusten Mensch-Maschine-Dialog. Die Leistungsfähigkeit des Systems wird anhand von verschiedenen Demonstratoren unter Beweis gestellt.     «

Basierend auf den Ergebnissen einer umfangreichen Usability-Untersuchung wird in der vorliegenden Arbeit ein generisches Konzept für die Verarbeitung multimodaler Benutzereingaben vorgestellt. Die zugrundeliegende Systemarchitektur operiert auf einer abstrakten Modellierung semantisch-dekodierter Benutzereingaben und ist unabhängig sowohl von der Art und der Anzahl der Eingabegeräte als auch von der Anwendungsdomäne universell verwendbar. Es wird ein innovativer, hybrider Integrationsalgorithmus...     »

Based on the results of an extensive usability study, a generic concept for processing multimodal user input is introduced in this paper. The underlying system architecture operates on an abstract level by decoding arbitrary input in a semantic form. Therefore, the system is independent of both the number and type of input devices and the application domain. An innovative hybrid integration algorithm is discussed that is inspired by the principles of natural evolution. Multiple solution hypotheses compete with each other for an optimal interpretation of the user interaction. The certainty of an integration result is calculated according to a statistically weighted score, which includes the semantic representation of the current user input, the temporal relations of the symbol sequences, the status of the individual system modules, empirical user data and previous integration results. Special genetic operators recombine characteristics of good solutions and create new integration hypotheses in an iterative process. In combination with a rule-based pre-processing for the segmentation of associated input data, the proposed method facilitates a flexible, intuitive and error-robust human machine dialog. Finally, the effectiveness of the developed system is shown by various demonstrators.     «

Based on the results of an extensive usability study, a generic concept for processing multimodal user input is introduced in this paper. The underlying system architecture operates on an abstract level by decoding arbitrary input in a semantic form. Therefore, the system is independent of both the number and type of input devices and the application domain. An innovative hybrid integration algorithm is discussed that is inspired by the principles of natural evolution. Multiple solution hypothes...     »