Topics in Stochastic Optimization: Learning with Implicit and Adaptive Steps

Schaipp, Fabian

User: Guest

Mathematik

Back
Back to start of result list
Permanent link for displayed object

If you experience problems opening the document, please try this link.

Original title:: Topics in Stochastic Optimization: Learning with Implicit and Adaptive Steps
Translated title:: Implizite und Adaptive Methoden der Stochastischen Optimierung für Machine Learning
Author:: Schaipp, Fabian
Year:: 2024
Document type:: Dissertation
Faculty/School:: TUM School of Computation, Information and Technology
Institution:: Lehrstuhl für Mathematische Optimierung (Prof. Ulbrich)
Advisor:: Ulbrich, Michael (Prof. Dr.)
Referee:: Ulbrich, Michael (Prof. Dr.); Sra, Suvrit (Prof. Dr.); Lorenz, Dirk (Prof. Dr.)
Language:: en
Subject group:: MAT Mathematik
Keywords:: optimization; machine learning
TUM classification:: MAT 490
Abstract:: We investigate stochastic optimization methods with the main application of training machine learning models. One approach involves a practical stochastic proximal point method with variance reduction, where the subproblem is solved via semismooth Newton. We also consider algorithms that use the stochastic Polyak step size. Here, we propose a proximal version for regularized problems. Using a model-based viewpoint of momentum, we derive Polyak-type adaptive learning rates for momentum methods.
Translated abstract:: Die Arbeit befasst sich mit stochastischen Methoden der Optimierung und dem Trainieren von Machine Learning-Modellen als Anwendung. Der erste Teil behandelt das Stochastic Proximal Point Verfahren mit Varianzreduktion. Dabei werden die Teilprobleme mithilfe des semiglatten Newton-Verfahrens gelöst. Im Weiteren werden stochastische Algorithmen, die die Polyak-Schrittweite benutzen, entwickelt. Wir untersuchen eine proximale Variante für regularisierte Probleme sowie die Kombination mit Momentum.
WWW:: https://mediatum.ub.tum.de/?id=1734714
Date of submission:: 09.02.2024
Oral examination:: 09.07.2024
File size:: 13509181 bytes
Pages:: 157
Urn (citeable URL):: https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240709-1734714-1-3
Last change:: 13.08.2024
BibTeX