Training deep neural networks is a computationally intensive task. The training time can be shortened by using hardware accelerators such as Graphics Processing Units (GPUs). Therefore, multi-GPU systems are used to speed up the training process. During the training process data needs to be copied from the CPU to the GPU and also between the GPUs. This thesis evaluates the performance of different on-node GPU interconnects: PCIe and NVLink. Microbenchmarks are designed and conducted to measure the performance of these interconnects for basic operations involved in training deep neural networks. The practical impact of using different interconnects when training various deep neural networks on multi-GPU systems is measured for using PCIe interconnects and for using NVLink interconnects. These experiments are conducted on different multi-GPU systems that have distinct interconnect systems. A classification approach is defined, which is used to classify the training workloads of deep neural networks into rather communication- or computation-intensive workloads. This classification is necessary to understand how much a certain training workload would benefit from a high-performance interconnect system.     «

Training deep neural networks is a computationally intensive task. The training time can be shortened by using hardware accelerators such as Graphics Processing Units (GPUs). Therefore, multi-GPU systems are used to speed up the training process. During the training process data needs to be copied from the CPU to the GPU and also between the GPUs. This thesis evaluates the performance of different on-node GPU interconnects: PCIe and NVLink. Microbenchmarks are designed and conducted to measure t...     »

Das Trainieren neuronaler Netze ist eine rechenintensive Aufgabe. Die Trainingszeit kann durch den Einsatz von Hardwarebeschleunigern wie beispielsweise Grafikkarten (GPUs) verkürzt werden. Aus diesem Grund werden Systeme mit mehreren GPUs genutzt, um den Trainingsprozess zu verkürzen. Während des Trainings müssen Daten von der CPU auf die GPU und zwischen den GPUs übertragen werden. Die vorliegende Arbeit evaluiert die Leistungsfähigkeit verschiedener GPU Verbindungen: PCIe und NVLink. Um die Leistungsfähigkeit der Verbindungen im Rahmen von Basis-Operationen, die für das Trainieren neuronaler Netze notwendig sind, zu messen, werden Benchmarks konzipiert und durchgeführt. Der Einfluss der NVLink- und PCIe-Verbindungen in der Praxis wird beim Trainieren verschiedener neuronaler Netze auf Systemen mit mehreren GPUs getestet. Die Experimente werden auf Systemen mit unterschiedlichen Verbindungssystemen durchgeführt. Darüber hinaus wird ein Ansatz zur Klassifizierung neuronaler Netze in kommunikations- und rechenintensive Arbeitslasten definiert. Diese Klassifizierung ist notwendig, um zu verstehen, wie sehr der Trainingsprozess eines bestimmten neuronalen Netzes von Hochleistungsverbindungen profitiert.     «

Das Trainieren neuronaler Netze ist eine rechenintensive Aufgabe. Die Trainingszeit kann durch den Einsatz von Hardwarebeschleunigern wie beispielsweise Grafikkarten (GPUs) verkürzt werden. Aus diesem Grund werden Systeme mit mehreren GPUs genutzt, um den Trainingsprozess zu verkürzen. Während des Trainings müssen Daten von der CPU auf die GPU und zwischen den GPUs übertragen werden. Die vorliegende Arbeit evaluiert die Leistungsfähigkeit verschiedener GPU Verbindungen: PCIe und NVLink. Um die...     »