TUM School of Computation, Information and Technology
Institution:
Informatik 5 - Lehrstuhl für Scientific Computing (Prof. Bungartz)
Betreuer:
Bungartz, Hans-Joachim (Prof. Dr. habil.)
Gutachter:
Bungartz, Hans-Joachim (Prof. Dr. habil.); Biros, George (Prof.); Dietrich, Felix (Prof. Dr.)
Sprache:
en
Fachgebiet:
DAT Datenverarbeitung, Informatik
Stichworte:
Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
Übersetzte Stichworte:
Hierarchical Matrices; Distributed parallelism; Newton-CG; Scientific Computing; Deep Learning
TU-Systematik:
MAT 650; DAT 780
Kurzfassung:
To alleviate the quadratic complexity of matrix computations, we developed the codes GOFMM and Newton-CG, both with lower computational complexities. We developed GOFMM for highly-parallel execution, showing good scalability up to 128 nodes and runtime benefits against ScaLAPACK or STRUMPACK for a wide range of problems in PDEs, kernel matrices, or graph Laplacians. Newton-CG is developed for GPU data-parallelism in deep learning, performing on par or better than the optimizers SGD and Adam.
Übersetzte Kurzfassung:
Um die quadratische Komplexität von Matrixberechnungen zu verringern, entwickelten wir die Codes GOFMM und Newton-CG, beide mit geringerer Rechenkomplexität. Dazu gehört GOFMM zur hochparallelen Ausführung, welches eine gute Skalierbarkeit auf bis zu 128 Knoten und Laufzeitvorteile gegenüber ScaLAPACK oder STRUMPACK für viele Probleme zeigt. Newton-CG wurde GPU-datenparallel für Deep Learning entwickelt und bietet eine gleichwertige oder bessere Performanz als die Optimierer SGD und Adam.