For neural networks we propose stochastic, non-parametric activation functions that are fully learnable and individual to each neuron.
Overfitting is prevented by placing a Gaussian process prior over these functions.
The model can handle uncertainties in its inputs and self-estimate the confidence of its predictions.
Using variational inference and the central limit theorem, a deterministic objective is derived, allowing it to be trained as efficiently as a conventional neural network using gradient descent.
«
For neural networks we propose stochastic, non-parametric activation functions that are fully learnable and individual to each neuron.
Overfitting is prevented by placing a Gaussian process prior over these functions.
The model can handle uncertainties in its inputs and self-estimate the confidence of its predictions.
Using variational inference and the central limit theorem, a deterministic objective is derived, allowing it to be trained as efficiently as a conventional neural network using...
»
Translated abstract:
Für neuronale Netze führen wir stochastische, parameterfreie Aktivierungsfunktionen ein, die lernbar und jedem Neuron individuell sind.
Überanpassung wird durch Verwendung einer Gauß-Prozess a-priori-Wahrscheinlichkeitsverteilung verhindert.
Das Model kann mit Unsicherheiten in seinen Eingaben umgehen und schätzt die Zuverlässigkeit seiner Vorhersagen.
Durch Verwendung von Variationsrechnung und dem zentralen Grenzwertsatz wird eine deterministische Zielfunktion hergeleitet, die es erlaubt das Model genauso effizient wie ein konventionelles neuronales Netz durch Gradientenabstieg zu trainieren.
«
Für neuronale Netze führen wir stochastische, parameterfreie Aktivierungsfunktionen ein, die lernbar und jedem Neuron individuell sind.
Überanpassung wird durch Verwendung einer Gauß-Prozess a-priori-Wahrscheinlichkeitsverteilung verhindert.
Das Model kann mit Unsicherheiten in seinen Eingaben umgehen und schätzt die Zuverlässigkeit seiner Vorhersagen.
Durch Verwendung von Variationsrechnung und dem zentralen Grenzwertsatz wird eine deterministische Zielfunktion hergeleitet, die es erlaubt da...
»