User: Guest  Login
If you experience problems opening the document, please try this link.
Original title:
Neural Network Architectures and Activation Functions: A Gaussian Process Approach 
Translated title:
Architekturen und Aktivierungsfunktionen für Neuronale Netzwerke: Ein Gauß-Prozess Ansatz 
Author:
Urban, Sebastian 
Year:
2018 
Document type:
Dissertation 
Institution:
Fakultät für Informatik 
Advisor:
van der Smagt, Patrick (Prof. Dr.) 
Referee:
van der Smagt, Patrick (Prof. Dr.); Cremers, Daniel (Prof. Dr.); Bischl, Bernd (Prof. Dr.) 
Language:
en 
Subject group:
DAT Datenverarbeitung, Informatik; INF Informationswesen, Bibliotheks-, Dokumentations-, Archiv-, Museumswesen; MAT Mathematik 
Keywords:
artificial neural network, ann, activation function, transfer function, gaussian process, gp, gpn, multiplicative interaction, addiplication, bayesian inference, variational inference, tensor algebra differentiation, tensor derivative, gaussian process neuron 
Translated keywords:
künstliches neuronales Netzwerk, Aktivierungsfunktion, Transferfunktion, Gauß-Prozess, Gauß-Prozess Neuron, GP, GPN, multiplikative Interaktion, Addiplication, Bayessche Inferenz, Variationsrechnung, Tensoralgebra Ableitung 
TUM classification:
DAT 708d; DAT 815d 
Abstract:
For neural networks we propose stochastic, non-parametric activation functions that are fully learnable and individual to each neuron. Overfitting is prevented by placing a Gaussian process prior over these functions. The model can handle uncertainties in its inputs and self-estimate the confidence of its predictions. Using variational inference and the central limit theorem, a deterministic objective is derived, allowing it to be trained as efficiently as a conventional neural network using...    »
 
Translated abstract:
Für neuronale Netze führen wir stochastische, parameterfreie Aktivierungsfunktionen ein, die lernbar und jedem Neuron individuell sind. Überanpassung wird durch Verwendung einer Gauß-Prozess a-priori-Wahrscheinlichkeitsverteilung verhindert. Das Model kann mit Unsicherheiten in seinen Eingaben umgehen und schätzt die Zuverlässigkeit seiner Vorhersagen. Durch Verwendung von Variationsrechnung und dem zentralen Grenzwertsatz wird eine deterministische Zielfunktion hergeleitet, die es erlaubt da...    »
 
Date of submission:
22.11.2017 
Oral examination:
20.06.2018 
File size:
5368513 bytes 
Pages:
228 
Last change:
28.06.2018 
 BibTeX