Intelligent automatic human behavior analysis is an essential precondition for conversational agent systems that aim to enable natural, emotionally sensitive human-computer interaction. This thesis focuses on automatic verbal and non-verbal behavior analysis and introduces novel speech processing and machine learning architectures that are capable of inferring the spoken content as well as the affective state from the speech signal.
Translated abstract:
Intelligente automatische Analyse menschlichen Verhaltens ist eine essenzielle Voraussetzung für Dialogsysteme, die eine natürliche, emotionssensitive Mensch-Maschine-Interaktion ermöglichen sollen. Diese Arbeit beschäftigt sich mit der automatischen Analyse verbalen und nicht-verbalen Verhaltens und stellt neue Architekturen zur Sprachverarbeitung und zum maschinellen Lernen vor, welche die Extraktion des gesprochenen Inhalts sowie des emotionalen Zustands aus dem Sprachsignal ermöglichen.