Login
- Originaltitel:
- Topics in Stochastic Optimization: Learning with Implicit and Adaptive Steps
- Übersetzter Titel:
- Implizite und Adaptive Methoden der Stochastischen Optimierung für Machine Learning
- Autor:
- Schaipp, Fabian
- Jahr:
- 2024
- Dokumenttyp:
- Dissertation
- Fakultät/School:
- TUM School of Computation, Information and Technology
- Institution:
- Lehrstuhl für Mathematische Optimierung (Prof. Ulbrich)
- Betreuer:
- Ulbrich, Michael (Prof. Dr.)
- Gutachter:
- Ulbrich, Michael (Prof. Dr.); Sra, Suvrit (Prof. Dr.); Lorenz, Dirk (Prof. Dr.)
- Sprache:
- en
- Fachgebiet:
- MAT Mathematik
- Stichworte:
- optimization; machine learning
- TU-Systematik:
- MAT 490
- Kurzfassung:
- We investigate stochastic optimization methods with the main application of training machine learning models. One approach involves a practical stochastic proximal point method with variance reduction, where the subproblem is solved via semismooth Newton. We also consider algorithms that use the stochastic Polyak step size. Here, we propose a proximal version for regularized problems. Using a model-based viewpoint of momentum, we derive Polyak-type adaptive learning rates for momentum methods.
- Übersetzte Kurzfassung:
- Die Arbeit befasst sich mit stochastischen Methoden der Optimierung und dem Trainieren von Machine Learning-Modellen als Anwendung. Der erste Teil behandelt das Stochastic Proximal Point Verfahren mit Varianzreduktion. Dabei werden die Teilprobleme mithilfe des semiglatten Newton-Verfahrens gelöst. Im Weiteren werden stochastische Algorithmen, die die Polyak-Schrittweite benutzen, entwickelt. Wir untersuchen eine proximale Variante für regularisierte Probleme sowie die Kombination mit Momentum.
- WWW:
- https://mediatum.ub.tum.de/?id=1734714
- Eingereicht am:
- 09.02.2024
- Mündliche Prüfung:
- 09.07.2024
- Dateigröße:
- 13509181 bytes
- Seiten:
- 157
- Urn (Zitierfähige URL):
- https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240709-1734714-1-3
- Letzte Änderung:
- 13.08.2024
BibTeX
Vorkommen:
- mediaTUM GesamtbestandElektronische PrüfungsarbeitenSchoolTUM School of Computation, Information and TechnologyMathematics
- mediaTUM GesamtbestandElektronische PrüfungsarbeitenSchoolTUM School of Computation, Information and Technology