On the Algorithmic Impact of Scientific Computing on Machine Learning

Reiz, Severin Maximilian

User: Guest

Mathematik

Back
Back to start of result list
Permanent link for displayed object

If you experience problems opening the document, please try this link.

Original title:: On the Algorithmic Impact of Scientific Computing on Machine Learning
Translated title:: Zum algorithmischen Einfluss des wissenschaftlichen Rechnens auf maschinelles Lernen
Author:: Reiz, Severin Maximilian
Year:: 2024
Document type:: Dissertation
Faculty/School:: TUM School of Computation, Information and Technology
Institution:: Informatik 5 - Lehrstuhl für Scientific Computing (Prof. Bungartz)
Advisor:: Bungartz, Hans-Joachim (Prof. Dr. habil.)
Referee:: Bungartz, Hans-Joachim (Prof. Dr. habil.); Biros, George (Prof.); Dietrich, Felix (Prof. Dr.)
Language:: en
Subject group:: DAT Datenverarbeitung, Informatik
Keywords:: Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
Translated keywords:: Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
TUM classification:: MAT 650; DAT 780
Abstract:: To alleviate the quadratic complexity of matrix computations, we developed the codes GOFMM and Newton-CG, both with lower computational complexities. We developed GOFMM for highly-parallel execution, showing good scalability up to 128 nodes and runtime benefits against ScaLAPACK or STRUMPACK for a wide range of problems in PDEs, kernel matrices, or graph Laplacians. Newton-CG is developed for GPU data-parallelism in deep learning, performing on par or better than the optimizers SGD and Adam.
Translated abstract:: Um die quadratische Komplexität von Matrixberechnungen zu verringern, entwickelten wir die Codes GOFMM und Newton-CG, beide mit geringerer Rechenkomplexität. Dazu gehört GOFMM zur hochparallelen Ausführung, welches eine gute Skalierbarkeit auf bis zu 128 Knoten und Laufzeitvorteile gegenüber ScaLAPACK oder STRUMPACK für viele Probleme zeigt. Newton-CG wurde GPU-datenparallel für Deep Learning entwickelt und bietet eine gleichwertige oder bessere Performanz als die Optimierer SGD und Adam.
WWW:: https://mediatum.ub.tum.de/?id=1733254
Date of submission:: 24.01.2024
Oral examination:: 23.07.2024
File size:: 17829423 bytes
Pages:: 157
Fulltext / DOI:: doi:10.14459/2024md1733254
Urn (citeable URL):: https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240723-1733254-1-8
Last change:: 12.08.2024
BibTeX