GPU programming for the Python3 language has become increasingly popular, especially in the context of machine learning. However, the number of backends which provide an array programming interface for GPUs has increased as well and algorithms which are implemented with different interfaces are often incompatible. torchquad is an example of a Python3 module which implements multi-dimensional numerical integration on GPUs and it has employed the array programming interface provided by the backend PyTorch. No module providing equivalent features is available for other backends, such as JAX and TensorFlow. The autoray module offers an interface for array programming that automatically works for numerical Python3 modules with an API which is similar to NumPy’s API. Since it enables algorithm implementations which support multiple backends at once, autoray tackles the compatibility problem. The topic of this thesis is the adaptation of torchquad’s code so that it uses autoray instead of PyTorch and thus supports numerical integration with the backends NumPy, JAX and TensorFlow in addition to PyTorch. Furthermore, this thesis includes investigations about the limitations of modularity between backends, code compilation with PyTorch, JAX and TensorFlow, and performance differences between backends. Execution time comparisons reveal that PyTorch, JAX and TensorFlow all parallelize well on the GPU, and without compilation, PyTorch is often more than twice as fast as JAX and TensorFlow. Furthermore, the use of autoray has not led to a decrease in code readability in torchquad and the limitations of modularity are mostly due to backend-specific differences, so we can conclude that autoray is in general well-suited to implement computations with support for multiple backends.      «

GPU programming for the Python3 language has become increasingly popular, especially in the context of machine learning. However, the number of backends which provide an array programming interface for GPUs has increased as well and algorithms which are implemented with different interfaces are often incompatible. torchquad is an example of a Python3 module which implements multi-dimensional numerical integration on GPUs and it has employed the array programming interface provided by the backend...     »

GPU Programmierung in der Python3 Sprache wurde mit der Zeit immer gefragter, insbesondere im Zusammenhang mit maschinellem Lernen. Allerdings hat sich die Anzahl der Backends, die eine Schnittstelle für Array-Programmierung für GPUs zur Verfügung stellen, auch erhöht und Algorithmen, die unterschiedliche Schnittstellen verwenden, sind oft zueinander inkompatibel. torchquad ist ein Beispiel für ein Python3 Modul, das mehr-dimensionale numerische Integration auf GPUs implementiert und die Schnittstelle des PyTorch Backends verwendet. Es gibt kein Modul mit equivalenten Eigenschaften für andere Backends, wie z.B. JAX und TensorFlow. Das autoray Modul implementiert eine Schnittstelle für Array-Programmierung, die automatisch für numerische Python3 Module funktioniert, welche in ihrer API NumPy ähneln. Da es Implementierungen von Algorithmen ermöglicht, die mehrere Backends gleichzeitig unterstützen, kann autoray das Kompatibilitätsproblem lösen. Das Thema dieser Arbeit ist die Anpassung von torchquad’s Code, damit es autoray statt PyTorch verwendet und dadurch numerische Integration mit den Backends NumPy, JAX und TensorFlow zusätzlich zu PyTorch unterstützt. Zudem enthält diese Arbeit Untersuchungen über die Grenzen der Modularität zwischen Backends, Code Kompilierungen mit PyTorch, JAX und TensorFlow, und Performanzunterschiede zwischen Backends. Vergleiche von Ausführungszeiten zeigen, dass die Parallelisierung auf der GPU mit PyTorch, JAX und TensorFlow gut funktioniert und dass ohne Kompilierung PyTorch oft mehr als doppelt so schnell wie JAX und TensorFlow ist. Des Weiteren hat sich die Code-Lesbarkeit in torchquad durch die Verwendung von autoray nicht verschlechtert und die Grenzen der Modularität werden hauptsächlich von Backend- spezifischen Unterschieden verursacht. Dadurch kann man schlussfolgern, dass autoray im Allgemeinen gut geeignet ist, um Berechnungen zu implementieren, die mehrere Backends unterstützen.      «

GPU Programmierung in der Python3 Sprache wurde mit der Zeit immer gefragter, insbesondere im Zusammenhang mit maschinellem Lernen. Allerdings hat sich die Anzahl der Backends, die eine Schnittstelle für Array-Programmierung für GPUs zur Verfügung stellen, auch erhöht und Algorithmen, die unterschiedliche Schnittstellen verwenden, sind oft zueinander inkompatibel. torchquad ist ein Beispiel für ein Python3 Modul, das mehr-dimensionale numerische Integration auf GPUs implementiert und die Schnitt...     »