Benutzer: Gast  Login
Originaltitel:
On the Algorithmic Impact of Scientific Computing on Machine Learning
Übersetzter Titel:
Zum algorithmischen Einfluss des wissenschaftlichen Rechnens auf maschinelles Lernen
Autor:
Reiz, Severin Maximilian
Jahr:
2024
Dokumenttyp:
Dissertation
Fakultät/School:
TUM School of Computation, Information and Technology
Institution:
Informatik 5 - Lehrstuhl für Scientific Computing (Prof. Bungartz)
Betreuer:
Bungartz, Hans-Joachim (Prof. Dr. habil.)
Gutachter:
Bungartz, Hans-Joachim (Prof. Dr. habil.); Biros, George (Prof.); Dietrich, Felix (Prof. Dr.)
Sprache:
en
Fachgebiet:
DAT Datenverarbeitung, Informatik
Stichworte:
Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
Übersetzte Stichworte:
Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
TU-Systematik:
MAT 650; DAT 780
Kurzfassung:
To alleviate the quadratic complexity of matrix computations, we developed the codes GOFMM and Newton-CG, both with lower computational complexities. We developed GOFMM for highly-parallel execution, showing good scalability up to 128 nodes and runtime benefits against ScaLAPACK or STRUMPACK for a wide range of problems in PDEs, kernel matrices, or graph Laplacians. Newton-CG is developed for GPU data-parallelism in deep learning, performing on par or better than the optimizers SGD and Adam.
Übersetzte Kurzfassung:
Um die quadratische Komplexität von Matrixberechnungen zu verringern, entwickelten wir die Codes GOFMM und Newton-CG, beide mit geringerer Rechenkomplexität. Dazu gehört GOFMM zur hochparallelen Ausführung, welches eine gute Skalierbarkeit auf bis zu 128 Knoten und Laufzeitvorteile gegenüber ScaLAPACK oder STRUMPACK für viele Probleme zeigt. Newton-CG wurde GPU-datenparallel für Deep Learning entwickelt und bietet eine gleichwertige oder bessere Performanz als die Optimierer SGD und Adam.
WWW:
https://mediatum.ub.tum.de/?id=1733254
Eingereicht am:
24.01.2024
Mündliche Prüfung:
23.07.2024
Dateigröße:
17829423 bytes
Seiten:
157
Volltext / DOI:
doi:10.14459/2024md1733254
Urn (Zitierfähige URL):
https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240723-1733254-1-8
Letzte Änderung:
12.08.2024
 BibTeX