Scalability in Ill-posed Machine Learning Problems: Bridging Least Squares Methods with (Non-)convex Algorithms

Mayrink Verdun, Claudio

Claudio Mayrink Verdun

If you experience problems opening the document, please try this link.

Original title:: Scalability in Ill-posed Machine Learning Problems: Bridging Least Squares Methods with (Non-)convex Algorithms
Translated title:: Skalierbarkeit schlecht konditionierter Machine-Learning-Probleme: der Verbindungen zwischen der Methode der kleinsten Quadrate und (nicht-)konvexen Algorithmen
Author:: Mayrink Verdun, Claudio
Year:: 2023
Document type:: Dissertation
Faculty/School:: TUM School of Computation, Information and Technology
Advisor:: Krahmer, Felix (Prof. Dr.)
Referee:: Krahmer, Felix (Prof. Dr.); Aldroubi, Akram (Prof. Dr.); Pfeffer, Max (Prof. Dr.)
Language:: en
Subject group:: MAT Mathematik
Keywords:: non-convex optimization, high-dimensional statistics, compressive sensing, overparametrization, least squares, sparse recovery, machine learning
TUM classification:: MAT 490; MAT 917
Abstract:: We introduce novel algorithms to address some challenges in machine learning, including ill-conditioned low-rank matrix retrieval, constrained least squares, and high-dimensional regression with unknown noise. By bridging least squares with modern (non-)convex optimization, our methods achieve scalability, data efficiency, and robustness. We provide theoretical guarantees with minimal assumptions and numerically validate their performance.
Translated abstract:: Thema der Arbeit sind neuartige Algorithmen für Aktuelle Herausforderungen im maschinellen Lernen, insbesondere für die Rekonstruktion von schlecht konditionierten Matrizen niedrigen Ranges, beschränkte kleinste Quadrate und hochdimensionale Regression mit unbekanntem Rauschterm. Die Kombination von Techniken der kleinsten Quadrate mit moderner (nicht-)konvexer Optimierung gewährleistet Skalierbarkeit, Dateneffizienz und Robustheit. Neben der Bereitstellung theoretischer Garantien unter minimalen Annahmen wird die Leistungsfähigkeit der Methoden numerisch validiert. «
Thema der Arbeit sind neuartige Algorithmen für Aktuelle Herausforderungen im maschinellen Lernen, insbesondere für die Rekonstruktion von schlecht konditionierten Matrizen niedrigen Ranges, beschränkte kleinste Quadrate und hochdimensionale Regression mit unbekanntem Rauschterm. Die Kombination von Techniken der kleinsten Quadrate mit moderner (nicht-)konvexer Optimierung gewährleistet Skalierbarkeit, Dateneffizienz und Robustheit. Neben der Bereitstellung theoretischer Garantien unter minimale... »
WWW:: https://mediatum.ub.tum.de/?id=1712083
Date of submission:: 27.06.2023
Oral examination:: 17.11.2023
File size:: 4816478 bytes
Pages:: 260
Urn (citeable URL):: https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20231117-1712083-1-2
Last change:: 18.01.2024
BibTeX