Das Trainieren neuronaler Netze ist eine rechenintensive Aufgabe. Die Trainingszeit kann durch den Einsatz von Hardwarebeschleunigern wie beispielsweise Grafikkarten (GPUs) verkürzt werden. Aus diesem Grund werden Systeme mit mehreren GPUs genutzt, um den Trainingsprozess zu verkürzen. Während des Trainings müssen Daten von der CPU auf die GPU und zwischen den GPUs übertragen werden. Die vorliegende Arbeit evaluiert die Leistungsfähigkeit verschiedener GPU Verbindungen: PCIe und NVLink.
Um die Leistungsfähigkeit der Verbindungen im Rahmen von Basis-Operationen, die für das Trainieren neuronaler Netze notwendig sind, zu messen, werden Benchmarks konzipiert und durchgeführt. Der Einfluss der NVLink- und PCIe-Verbindungen in der Praxis wird beim Trainieren verschiedener neuronaler Netze auf Systemen mit mehreren GPUs getestet. Die Experimente werden auf Systemen mit unterschiedlichen Verbindungssystemen durchgeführt.
Darüber hinaus wird ein Ansatz zur Klassifizierung neuronaler Netze in kommunikations- und rechenintensive Arbeitslasten definiert. Diese Klassifizierung ist notwendig, um zu verstehen, wie sehr der Trainingsprozess eines bestimmten neuronalen Netzes von Hochleistungsverbindungen profitiert.
«
Das Trainieren neuronaler Netze ist eine rechenintensive Aufgabe. Die Trainingszeit kann durch den Einsatz von Hardwarebeschleunigern wie beispielsweise Grafikkarten (GPUs) verkürzt werden. Aus diesem Grund werden Systeme mit mehreren GPUs genutzt, um den Trainingsprozess zu verkürzen. Während des Trainings müssen Daten von der CPU auf die GPU und zwischen den GPUs übertragen werden. Die vorliegende Arbeit evaluiert die Leistungsfähigkeit verschiedener GPU Verbindungen: PCIe und NVLink.
Um die...
»