Login
Original title:
Neural Network Architectures and Activation Functions: A Gaussian Process Approach
Translated title:
Architekturen und Aktivierungsfunktionen für Neuronale Netzwerke: Ein Gauß-Prozess Ansatz
Author:
Year:
2018
Document type:
Dissertation
Institution:
Fakultät für Informatik
Advisor:
van der Smagt, Patrick (Prof. Dr.)
Referee:
van der Smagt, Patrick (Prof. Dr.); Cremers, Daniel (Prof. Dr.); Bischl, Bernd (Prof. Dr.)
Language:
en
Subject group:
DAT Datenverarbeitung, Informatik; INF Informationswesen, Bibliotheks-, Dokumentations-, Archiv-, Museumswesen; MAT Mathematik
Keywords:
artificial neural network, ann, activation function, transfer function, gaussian process, gp, gpn, multiplicative interaction, addiplication, bayesian inference, variational inference, tensor algebra differentiation, tensor derivative, gaussian process neuron
Translated keywords:
künstliches neuronales Netzwerk, Aktivierungsfunktion, Transferfunktion, Gauß-Prozess, Gauß-Prozess Neuron, GP, GPN, multiplikative Interaktion, Addiplication, Bayessche Inferenz, Variationsrechnung, Tensoralgebra Ableitung
TUM classification:
DAT 708d; DAT 815d
Abstract:
For neural networks we propose stochastic, non-parametric activation functions that are fully learnable and individual to each neuron.
Overfitting is prevented by placing a Gaussian process prior over these functions.
The model can handle uncertainties in its inputs and self-estimate the confidence of its predictions.
Using variational inference and the central limit theorem, a deterministic objective is derived, allowing it to be trained as efficiently as a conventional neural network using... »
Translated abstract:
Für neuronale Netze führen wir stochastische, parameterfreie Aktivierungsfunktionen ein, die lernbar und jedem Neuron individuell sind.
Überanpassung wird durch Verwendung einer Gauß-Prozess a-priori-Wahrscheinlichkeitsverteilung verhindert.
Das Model kann mit Unsicherheiten in seinen Eingaben umgehen und schätzt die Zuverlässigkeit seiner Vorhersagen.
Durch Verwendung von Variationsrechnung und dem zentralen Grenzwertsatz wird eine deterministische Zielfunktion hergeleitet, die es erlaubt da... »
Date of submission:
22.11.2017
Oral examination:
20.06.2018
File size:
5368513 bytes
Pages:
228
Last change:
28.06.2018
BibTeX