Login
- Originaltitel:
- On the Algorithmic Impact of Scientific Computing on Machine Learning
- Übersetzter Titel:
- Zum algorithmischen Einfluss des wissenschaftlichen Rechnens auf maschinelles Lernen
- Autor:
- Reiz, Severin Maximilian
- Jahr:
- 2024
- Dokumenttyp:
- Dissertation
- Fakultät/School:
- TUM School of Computation, Information and Technology
- Institution:
- Informatik 5 - Lehrstuhl für Scientific Computing (Prof. Bungartz)
- Betreuer:
- Bungartz, Hans-Joachim (Prof. Dr. habil.)
- Gutachter:
- Bungartz, Hans-Joachim (Prof. Dr. habil.); Biros, George (Prof.); Dietrich, Felix (Prof. Dr.)
- Sprache:
- en
- Fachgebiet:
- DAT Datenverarbeitung, Informatik
- Stichworte:
- Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
- Übersetzte Stichworte:
- Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
- TU-Systematik:
- MAT 650; DAT 780
- Kurzfassung:
- To alleviate the quadratic complexity of matrix computations, we developed the codes GOFMM and Newton-CG, both with lower computational complexities. We developed GOFMM for highly-parallel execution, showing good scalability up to 128 nodes and runtime benefits against ScaLAPACK or STRUMPACK for a wide range of problems in PDEs, kernel matrices, or graph Laplacians. Newton-CG is developed for GPU data-parallelism in deep learning, performing on par or better than the optimizers SGD and Adam.
- Übersetzte Kurzfassung:
- Um die quadratische Komplexität von Matrixberechnungen zu verringern, entwickelten wir die Codes GOFMM und Newton-CG, beide mit geringerer Rechenkomplexität. Dazu gehört GOFMM zur hochparallelen Ausführung, welches eine gute Skalierbarkeit auf bis zu 128 Knoten und Laufzeitvorteile gegenüber ScaLAPACK oder STRUMPACK für viele Probleme zeigt. Newton-CG wurde GPU-datenparallel für Deep Learning entwickelt und bietet eine gleichwertige oder bessere Performanz als die Optimierer SGD und Adam.
- WWW:
- https://mediatum.ub.tum.de/?id=1733254
- Eingereicht am:
- 24.01.2024
- Mündliche Prüfung:
- 23.07.2024
- Dateigröße:
- 17829423 bytes
- Seiten:
- 157
- Volltext / DOI:
- doi:10.14459/2024md1733254
- Urn (Zitierfähige URL):
- https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240723-1733254-1-8
- Letzte Änderung:
- 12.08.2024
BibTeX
Vorkommen:
- mediaTUM GesamtbestandElektronische PrüfungsarbeitenSchoolTUM School of Computation, Information and TechnologyComputer Science
- mediaTUM GesamtbestandElektronische PrüfungsarbeitenSchoolTUM School of Computation, Information and Technology