This dissertation presents research at the intersection of deep learning and numerical optimization. We contribute a framework to derive deep learning optimization algorithms from an alternative view of the classical backpropagation algorithm. Furthermore, we propose a method to enforce linear inequality constraints on neural network activations. We continue by employing deep learning to improve the optimizability of a variational data assimilation problem. Finally, we devise a continuous relaxation of an orthogonal matrix factorization problem.     «

This dissertation presents research at the intersection of deep learning and numerical optimization. We contribute a framework to derive deep learning optimization algorithms from an alternative view of the classical backpropagation algorithm. Furthermore, we propose a method to enforce linear inequality constraints on neural network activations. We continue by employing deep learning to improve the optimizability of a variational data assimilation problem. Finally, we devise a continuous relaxa...     »

Diese Dissertation präsentiert Forschung an der Schnittstelle von Deep Learning und Numerischer Optimierung. Wir tragen ein Prinzip zur Formulierung von Deep Learning Optimierungsalgorithmen bei, welches auf einer alternativen Sichtweise auf den klassischen Backpropagation-Algorithmus basiert. Weiterhin schlagen wir eine Methode vor, um lineare Ungleichungen auf die Aktivierungen Neuronaler Netze zu forcieren. Wir fahren fort, indem wir Deep Learning einsetzen, um variationsbasierte Datenassimilation zu verbessern. Schließlich entwickeln wir eine kontinuierliche Relaxierung für die Faktorisierung orthogonaler Matrizen.     «

Diese Dissertation präsentiert Forschung an der Schnittstelle von Deep Learning und Numerischer Optimierung. Wir tragen ein Prinzip zur Formulierung von Deep Learning Optimierungsalgorithmen bei, welches auf einer alternativen Sichtweise auf den klassischen Backpropagation-Algorithmus basiert. Weiterhin schlagen wir eine Methode vor, um lineare Ungleichungen auf die Aktivierungen Neuronaler Netze zu forcieren. Wir fahren fort, indem wir Deep Learning einsetzen, um variationsbasierte Datenassimil...     »