In dieser Arbeit wurde die audio-visuelle Datenfusion beim Menschen untersucht. Mit verschiedenen Verfahren aus der Signalverarbeitung als auch mit einem kognitiven Modell zur Evidenzkombination wurden die experimentellen Ergebnisse modelliert. Zuerst wurde gezeigt, welche Methoden zur Datenfusion bei verschiedenen technischen Systemen angewendet werden. Anschließend wurden wichtige Erkenntnisse zur multimodalen Signalverarbeitung bei biologischen Systemen dargestellt. In einer Computersimulation wurde untersucht, welche statistischen Kovariationen im auditiven und visuellen Kanal bei typischen Relativbewegungen zwischen einem Beobachter und mehreren Objekten auftreten. Das sich dabei ergebende Muster war von der Relativbewegung zwischen Beobachter und Objekten in seiner Struktur unabhängig und zeigte eine statistische Redundanz bei gleich sinnigen Stimuluskombinationen. Die Hypothese, dass die menschliche Signalverarbeitung an dieses spezielle Muster angepasst ist, wurde in den Detektionsexperimenten überprüft. Das erste Experiment war eine Diskriminanzschwellenmessung mit einem sich in der Größe verändernden Quadrat und einem sich in der Amplitude ändernden 1 kHz Ton. Im zweiten Experiment wurden die aus den ersten Experiment verwendeten Stimuli gegen einen Tigerkopf und ein Tigergebrüll ausgetauscht, um den Einfluss der Stimulusart auf die Wahrnehmungsleistung zu testen. Das nachfolgende Experiment bestand aus einer Absolutschwellenmessung mit einer seitlichen, globalen, nicht lokalisierbaren Bewegung mit abstrakten Stimuli. Die Ergebnisse zeigen, dass die Stärke der Datenfusion von der statistischen Kovariation der physikalischen Signale beeinflusst wird und von der Kohärenz der Stimuli abhängig ist. Bei der Modellierung der Datenfusion konnte mit der Dempster-Shafer-Methode eine bessere Vorhersage der Daten erreicht werden als mit dem hybriden Modell aus Wahrscheinlichkeitssummation und linearer Summation. Bei den beiden Prädiktionsexperimenten wurde die Präzision der Vorhersage über das Auftauchen eines bewegten lokalisierbaren Stimulus an einer bestimmten Position gemessen. Die gemessenen Fusionseffekte zeigten deutliche Unterschiede. Wenn die Unsicherheit der Stimuli erhöht wurde, war der Fusionseffekt deutlich stärker als bei den stark überschwelligen Stimuli. Bei der Modellierung des Fusionseffekts konnte mit dem Minimum-Modell eine bessere Vorhersage der Daten erreicht werden als mit einer gewichteten Mittelwertschätzung.     «

In dieser Arbeit wurde die audio-visuelle Datenfusion beim Menschen untersucht. Mit verschiedenen Verfahren aus der Signalverarbeitung als auch mit einem kognitiven Modell zur Evidenzkombination wurden die experimentellen Ergebnisse modelliert. Zuerst wurde gezeigt, welche Methoden zur Datenfusion bei verschiedenen technischen Systemen angewendet werden. Anschließend wurden wichtige Erkenntnisse zur multimodalen Signalverarbeitung bei biologischen Systemen dargestellt. In einer Computersimulatio...     »

This thesis investigated the fusion of auditory-visual data in humans. Different signal processing models and a cognitive model based on evidence combination were used. First, an overview is given of the data fusion models used in different operational systems, and relevant findings are presented on multisensory data fusion in biological systems. Next the statistical covariation between the auditory and visual signals during relative movements of an observer and various objects was simulated on a computer. It was shown that the pattern of the results was independent of the relative movements of the objects and the observer. Furthermore, the pattern showed that consistent stimulus combinations were more frequent than others. In the second part, the hypothesis that human information processing is adapted to the statistical covariation of the signals was tested in different detection tasks. The first discrimination threshold experiment used a square that changed in size and a 1kHz tone that changed in amplitude. The impact of the type of stimulus was tested in the second experiment by substituting the original stimuli with the head and roar of a tiger. In the third experiment the detection threshold was analyzed using abstract lateral moving stimuli that generated a global motion. The results show that the strength of data fusion is influenced by the statistical covariation of the physical stimuli and depends on the coherence of the stimuli. When modeling the data fusion the Dempster-Shafer method allowed better prediction of the empirical data than a hybrid model, which combined probability and subthreshold summation. The two prediction experiments used stimuli that could be readily located. The accuracy of the predicted position of the moving stimuli was tested. Significant effects were observed in the strength of data fusion. Data fusion was stronger with noisy stimuli than with stimuli clearly above threshold. A minimum model predicted empirical data better than did a weighted-average model.     «

This thesis investigated the fusion of auditory-visual data in humans. Different signal processing models and a cognitive model based on evidence combination were used. First, an overview is given of the data fusion models used in different operational systems, and relevant findings are presented on multisensory data fusion in biological systems. Next the statistical covariation between the auditory and visual signals during relative movements of an observer and various objects was simulated on...     »