Benutzer: Gast  Login
Mehr Felder
Einfache Suche
Originaltitel:
Topics in Stochastic Optimization: Learning with Implicit and Adaptive Steps
Übersetzter Titel:
Implizite und Adaptive Methoden der Stochastischen Optimierung für Machine Learning
Autor:
Schaipp, Fabian
Jahr:
2024
Dokumenttyp:
Dissertation
Fakultät/School:
TUM School of Computation, Information and Technology
Institution:
Lehrstuhl für Mathematische Optimierung (Prof. Ulbrich)
Betreuer:
Ulbrich, Michael (Prof. Dr.)
Gutachter:
Ulbrich, Michael (Prof. Dr.); Sra, Suvrit (Prof. Dr.); Lorenz, Dirk (Prof. Dr.)
Sprache:
en
Fachgebiet:
MAT Mathematik
Stichworte:
optimization; machine learning
TU-Systematik:
MAT 490
Kurzfassung:
We investigate stochastic optimization methods with the main application of training machine learning models. One approach involves a practical stochastic proximal point method with variance reduction, where the subproblem is solved via semismooth Newton. We also consider algorithms that use the stochastic Polyak step size. Here, we propose a proximal version for regularized problems. Using a model-based viewpoint of momentum, we derive Polyak-type adaptive learning rates for momentum methods.
Übersetzte Kurzfassung:
Die Arbeit befasst sich mit stochastischen Methoden der Optimierung und dem Trainieren von Machine Learning-Modellen als Anwendung. Der erste Teil behandelt das Stochastic Proximal Point Verfahren mit Varianzreduktion. Dabei werden die Teilprobleme mithilfe des semiglatten Newton-Verfahrens gelöst. Im Weiteren werden stochastische Algorithmen, die die Polyak-Schrittweite benutzen, entwickelt. Wir untersuchen eine proximale Variante für regularisierte Probleme sowie die Kombination mit Momentum.
WWW:
https://mediatum.ub.tum.de/?id=1734714
Eingereicht am:
09.02.2024
Mündliche Prüfung:
09.07.2024
Dateigröße:
13509181 bytes
Seiten:
157
Urn (Zitierfähige URL):
https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240709-1734714-1-3
Letzte Änderung:
13.08.2024
 BibTeX