User: Guest  Login
More Searchfields
Simple search
Original title:
On the Algorithmic Impact of Scientific Computing on Machine Learning
Translated title:
Zum algorithmischen Einfluss des wissenschaftlichen Rechnens auf maschinelles Lernen
Author:
Reiz, Severin Maximilian
Year:
2024
Document type:
Dissertation
Faculty/School:
TUM School of Computation, Information and Technology
Institution:
Informatik 5 - Lehrstuhl für Scientific Computing (Prof. Bungartz)
Advisor:
Bungartz, Hans-Joachim (Prof. Dr. habil.)
Referee:
Bungartz, Hans-Joachim (Prof. Dr. habil.); Biros, George (Prof.); Dietrich, Felix (Prof. Dr.)
Language:
en
Subject group:
DAT Datenverarbeitung, Informatik
Keywords:
Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
Translated keywords:
Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
TUM classification:
MAT 650; DAT 780
Abstract:
To alleviate the quadratic complexity of matrix computations, we developed the codes GOFMM and Newton-CG, both with lower computational complexities. We developed GOFMM for highly-parallel execution, showing good scalability up to 128 nodes and runtime benefits against ScaLAPACK or STRUMPACK for a wide range of problems in PDEs, kernel matrices, or graph Laplacians. Newton-CG is developed for GPU data-parallelism in deep learning, performing on par or better than the optimizers SGD and Adam.
Translated abstract:
Um die quadratische Komplexität von Matrixberechnungen zu verringern, entwickelten wir die Codes GOFMM und Newton-CG, beide mit geringerer Rechenkomplexität. Dazu gehört GOFMM zur hochparallelen Ausführung, welches eine gute Skalierbarkeit auf bis zu 128 Knoten und Laufzeitvorteile gegenüber ScaLAPACK oder STRUMPACK für viele Probleme zeigt. Newton-CG wurde GPU-datenparallel für Deep Learning entwickelt und bietet eine gleichwertige oder bessere Performanz als die Optimierer SGD und Adam.
WWW:
https://mediatum.ub.tum.de/?id=1733254
Date of submission:
24.01.2024
Oral examination:
23.07.2024
File size:
17829423 bytes
Pages:
157
Fulltext / DOI:
doi:10.14459/2024md1733254
Urn (citeable URL):
https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240723-1733254-1-8
Last change:
12.08.2024
 BibTeX