The human auditory system outperforms existing automatic speech recognition system by a large extent. This motivates the modeling of the human auditory system and the application of auditory model for robust automatic speech recognition. During the last years, we have acquired a good knowledge about the mechanisms of the auditory system. However, we are less sure about which properties of the auditory coding contribute to its outstanding performance. The debate about different coding strategies such as "rate code" or "temporal code" still persists. This thesis presents a framework including auditory modeling, speech recognition and information theory, in search of the essential aspects of auditory coding. I used a detailed model of human auditory processing that generates realistic auditory nerve spike trains. The model includes strong compression and level dependent shape of active inner ear filtering. I augmented the model with a realistic onset adaptation mechanism to replicate the "dead-time" period of the auditory nerve fibers after signal onset. I also modeled cochlea nucleus onset neurons and connected them to the model. I tested the model qualitatively using a realistic scenario: speech in noise. I implemented different speech recognition engines based on the HTK testbed and the MLP testbed. I evaluated the output auditory nerve spike trains using a rate-place based coding strategy and then augmented it with spikes from octopus neurons which code mainly the temporal structure of the speech signal. Results showed that the realistic onset adaptation improves temporal coding of auditory nerve fibers which also leads to considerable improvement in recognition results. The model achieved robustness against noise which is similar to human performance, even though there is still a big gap in absolute performance. The MLP testbed outperformed HTK testbed, which suggests that innovative features such as neural spike trains require proper matching to the back-end. I also implemented an approach based on information theory for quantitative assessment of the auditory model. I found out that information saturates for periodic signals such as spoken vowels. I was able to analyze the impact of temporal resolution of the spike trains from different onset neurons. I suggested that onset neurons utilized a very high temporal resolution to code information. The quantitative measurement also enabled me to analyze the effect of noise on information transmission. In conclusion, the human auditory model, the qualitative measurement using speech recognition and the quantitative measurement using information theory complement each other. Together, they provide a framework for continuously improving the performance of human auditory modeling for the purpose of speech recognition and information processing.     «

The human auditory system outperforms existing automatic speech recognition system by a large extent. This motivates the modeling of the human auditory system and the application of auditory model for robust automatic speech recognition. During the last years, we have acquired a good knowledge about the mechanisms of the auditory system. However, we are less sure about which properties of the auditory coding contribute to its outstanding performance. The debate about different coding strategies...     »

Das Hörsystem des Menschen ist jetzigen automatischen Spracherkennungssystemen bei weitem überlegen. Es erscheint daher lohnenswert, die Prinzipien der Informationsverarbeitung im menschlichen Hörsystem zu analysieren und modellieren, und damit der automatischen Spracherkennung zugänglich zu machen. Fortschritte in der Hörforschung der letzen Jahre haben unser Wissen über Verarbeitungsschritte der auditorischen Hörbahn stark erweitert, so dass wir in einigen Bereichen sehr detaillierte Einsichten gewonnen haben. Jedoch ist es immer noch nicht klar, welche Eigenschaften des Hörsystems besonders für seine herausragenden Eigenschaften verantwortlich sind. Beispielsweise ist die Diskussion über die Wichtigkeit der grundlegenden Kodierungsstrategien wie den sogenannten „Raten Kode“ oder die Kodierung zeitlicher Information immer noch nicht abgeschlossen. Diese Arbeit stellt ein System bestehend aus einem Modell der peripheren Verarbeitung im Innenohr sowie Teilen der ersten neuronalen Ebene zur Verfügung. Fragen nach den essentiellen Verarbeitungsstufen wurden mit einem darauf angepassten automatischen Spracherkennungssystem sowie den Methoden der Informationstheorie analysiert. Das zur verwendete Modell kodiert Schallsignale in Aktionspotentiale des auditorischen Nerven und zeichnet sich durch seine hohe Dynamikkompression sowie die realistischen Erregungsmuster aus. Dieses Modell wurde in der vorliegenden Arbeit so erweitert, dass auch die Pause der neuronalen Aktivität am Ende eines Tons (die sogenannte „Offset-Adaption“) korrekt modelliert wurde. Ebenso werden auch Modelle der wichtigsten Neurone in der ersten Schaltstufe im auditorischen System, dem auditorischen Hirnstamm, vorgestellt. Dieses System wurde dann mit einem automatischen Spracherkennungssystem in einem anspruchsvollen aber realistischen Szenario analysiert, der Erkennung von Sprache in Störgeräuschen. Da die hier verwendeten Merkmale, die aus Folgen von Nervenaktionspotentialen verschiedener Neurone gewonnen wurden, für klassische Spracherkennungssysteme sehr ungewöhnlich sind, wurde besonderes Augenmerk auf eine möglichst optimale Anpassung gelegt. Mit der automatischen Spracherkennung konnte die Raten-Ortskodierung, die im Innenohr durch die auditorischen Nerven erfolgt, quantitativ analysiert werden, ebenso die Verarbeitung zeitlicher Merkmale durch die sogenannten „Onset Nerone“ im auditorischen Hirnstamm. Die Ergebnisse dieser Arbeit zeigen wie wichtig die Offset Adaption für die Sprachverarbeitung ist, durch sie wird nicht nur die Präzision der Kodierung zeitlicher Aspekte von Sprache erhöht, sie führt auch zu einer erheblichen Verbesserung bei der automatischen Spracherkennung, insbesondere in Störgeräuschen. Mit Hilfe eines mehrlagigen Perzeptrons konnte zudem die Anpassung der aus dem auditorischen Modell gewonnenen Merkmale an das automatischen Spracherkennungssystem wesentlich verbessert werden. Die informationstheoretische Analyse von Nervenaktionspotentialsfolgen von Onset Neuronen zeigte beispielsweise, dass der Informationsfluss nach der Präsentation eines Vokals nach einem steilen Anstieg innerhalb von mehreren zehn Millisekunden saturiert. Weiterhin wurde gezeigt, dass diese Neurone Information mit einer sehr hohen zeitlichen Auflösung von mindestens 20 µs kodieren können. Zusammenfassend wurde geschlossen, dass sich die automatische Spracherkennung und die Analyse der Informationskodierung in Nervenaktionspotentialsfolgen in vorteilhafter Weise ergänzen. Gemeinsam eröffnen diese beiden Methoden damit ein wertvolles Werkzeug zur kontinuierlichen Verbesserung bei der Modellierung des auditorischen Systems.     «

Das Hörsystem des Menschen ist jetzigen automatischen Spracherkennungssystemen bei weitem überlegen. Es erscheint daher lohnenswert, die Prinzipien der Informationsverarbeitung im menschlichen Hörsystem zu analysieren und modellieren, und damit der automatischen Spracherkennung zugänglich zu machen. Fortschritte in der Hörforschung der letzen Jahre haben unser Wissen über Verarbeitungsschritte der auditorischen Hörbahn stark erweitert, so dass wir in einigen Bereichen sehr detaillierte Einsich...     »