Login
- Original title:
- On the Algorithmic Impact of Scientific Computing on Machine Learning
- Translated title:
- Zum algorithmischen Einfluss des wissenschaftlichen Rechnens auf maschinelles Lernen
- Author:
- Reiz, Severin Maximilian
- Year:
- 2024
- Document type:
- Dissertation
- Faculty/School:
- TUM School of Computation, Information and Technology
- Institution:
- Informatik 5 - Lehrstuhl für Scientific Computing (Prof. Bungartz)
- Advisor:
- Bungartz, Hans-Joachim (Prof. Dr. habil.)
- Referee:
- Bungartz, Hans-Joachim (Prof. Dr. habil.); Biros, George (Prof.); Dietrich, Felix (Prof. Dr.)
- Language:
- en
- Subject group:
- DAT Datenverarbeitung, Informatik
- Keywords:
- Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
- Translated keywords:
- Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
- TUM classification:
- MAT 650; DAT 780
- Abstract:
- To alleviate the quadratic complexity of matrix computations, we developed the codes GOFMM and Newton-CG, both with lower computational complexities. We developed GOFMM for highly-parallel execution, showing good scalability up to 128 nodes and runtime benefits against ScaLAPACK or STRUMPACK for a wide range of problems in PDEs, kernel matrices, or graph Laplacians. Newton-CG is developed for GPU data-parallelism in deep learning, performing on par or better than the optimizers SGD and Adam.
- Translated abstract:
- Um die quadratische Komplexität von Matrixberechnungen zu verringern, entwickelten wir die Codes GOFMM und Newton-CG, beide mit geringerer Rechenkomplexität. Dazu gehört GOFMM zur hochparallelen Ausführung, welches eine gute Skalierbarkeit auf bis zu 128 Knoten und Laufzeitvorteile gegenüber ScaLAPACK oder STRUMPACK für viele Probleme zeigt. Newton-CG wurde GPU-datenparallel für Deep Learning entwickelt und bietet eine gleichwertige oder bessere Performanz als die Optimierer SGD und Adam.
- WWW:
- https://mediatum.ub.tum.de/?id=1733254
- Date of submission:
- 24.01.2024
- Oral examination:
- 23.07.2024
- File size:
- 17829423 bytes
- Pages:
- 157
- Fulltext / DOI:
- doi:10.14459/2024md1733254
- Urn (citeable URL):
- https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240723-1733254-1-8
- Last change:
- 12.08.2024
BibTeX
Occurrences:
- mediaTUM GesamtbestandEinrichtungenSchools TUM School of Computation, Information and TechnologyPrüfungsarbeitenDissertationen
- mediaTUM GesamtbestandElektronische PrüfungsarbeitenSchoolTUM School of Computation, Information and Technology