User: Guest  Login
If you experience problems opening the document, please try this link.
Original title:
Topics in Stochastic Optimization: Learning with Implicit and Adaptive Steps
Translated title:
Implizite und Adaptive Methoden der Stochastischen Optimierung für Machine Learning
Author:
Schaipp, Fabian
Year:
2024
Document type:
Dissertation
Faculty/School:
TUM School of Computation, Information and Technology
Institution:
Lehrstuhl für Mathematische Optimierung (Prof. Ulbrich)
Advisor:
Ulbrich, Michael (Prof. Dr.)
Referee:
Ulbrich, Michael (Prof. Dr.); Sra, Suvrit (Prof. Dr.); Lorenz, Dirk (Prof. Dr.)
Language:
en
Subject group:
MAT Mathematik
Keywords:
optimization; machine learning
TUM classification:
MAT 490
Abstract:
We investigate stochastic optimization methods with the main application of training machine learning models. One approach involves a practical stochastic proximal point method with variance reduction, where the subproblem is solved via semismooth Newton. We also consider algorithms that use the stochastic Polyak step size. Here, we propose a proximal version for regularized problems. Using a model-based viewpoint of momentum, we derive Polyak-type adaptive learning rates for momentum methods.
Translated abstract:
Die Arbeit befasst sich mit stochastischen Methoden der Optimierung und dem Trainieren von Machine Learning-Modellen als Anwendung. Der erste Teil behandelt das Stochastic Proximal Point Verfahren mit Varianzreduktion. Dabei werden die Teilprobleme mithilfe des semiglatten Newton-Verfahrens gelöst. Im Weiteren werden stochastische Algorithmen, die die Polyak-Schrittweite benutzen, entwickelt. Wir untersuchen eine proximale Variante für regularisierte Probleme sowie die Kombination mit Momentum.
WWW:
https://mediatum.ub.tum.de/?id=1734714
Date of submission:
09.02.2024
Oral examination:
09.07.2024
File size:
13509181 bytes
Pages:
157
Urn (citeable URL):
https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240709-1734714-1-3
Last change:
13.08.2024
 BibTeX