Data movements, and the interconnects in heterogeneous systems, will soon become the bottleneck of computation speeds due to the shift away from general-purpose processors toward specialized architectures and accelerators. The aim of this bachelor’s thesis is to gain insight into data movements over the PCIe bus in heterogeneous computer systems, and to be more specific, data travel between the CPU and GPU. The thesis describes the development of a set of CUDA-based tools to both assess a PCIe link’s capabilities and to monitor other programs’ PCIe link activity. The first tool aims to benchmark a given system’s PCIe link capability, namely delay and bandwidth. The benchmark is capable of determining peak bandwidths and the saturation batch size accurately and shows that the transfer duration does not scale linearly with the amount of PCIe packets sent. The second tool aims to monitor a given program’s PCIe activity using NVIDIA’s NVML library, which has counters to monitor the PCIe link throughput. The program accurately depicts the PCIe link activity of the program it is monitoring but struggles with short memory transfers due to the counters’ update frequency. The third tool additionally aims to detect shorter memory transfers, improving on the major drawback of the NVML approach. This is done by putting the PCIe link under load by copying small chunks of memory and monitoring the bandwidths, with a lower bandwidth indicating PCIe link activity. This tool can detect shorter memory copy operations at the cost of introducing significant overhead to the program it is monitoring. Limitations for each tool are listed, although workarounds for these limitations are challenging to find due to the lack of documentation for the libraries used in the development of each tool. Taken together, the developed tools provide a unique and different approach to the monitoring process of data movements over the PCIe bus in heterogeneous computer systems.     «

Data movements, and the interconnects in heterogeneous systems, will soon become the bottleneck of computation speeds due to the shift away from general-purpose processors toward specialized architectures and accelerators. The aim of this bachelor’s thesis is to gain insight into data movements over the PCIe bus in heterogeneous computer systems, and to be more specific, data travel between the CPU and GPU. The thesis describes the development of a set of CUDA-based tools to both assess a PCIe...     »

Datenbewegungen und die Verbindungen in heterogenen Systemen werden bald zum Engpass für die Rechengeschwindigkeiten werden, aufgrund der Abkehr von Allzweck Prozessoren hin zu spezialisierten Architekturen und Beschleunigern. Das Ziel dieser Bachelorarbeit ist es, Einblicke in die Datenbewegungen über den PCIe-Bus in heterogenen Computersystemen zu gewinnen, genauer gesagt in die Datenübertragung zwischen CPU und GPU. Die Arbeit beschreibt die Entwicklung einer Reihe von CUDA-basierten Tools, um sowohl die Fähigkeiten eines PCIe-Links zu bewerten als auch die PCIe-Link-Aktivität anderer Programme zu überwachen. Das erste Tool zielt darauf ab, die PCIe-Link-Fähigkeit eines gegebenen Systems zu bewerten, d. h. Verzögerung und Bandbreite. Der Benchmark ist in der Lage, Spitzenbandbreiten und die Sättigungsgröße einer Datenübertragung genau zu bestimmen und zeigt, dass die Übertragungsdauer nicht nicht linear mit der Menge der gesendeten PCIe-Pakete skaliert. Das zweite Tool zielt darauf ab, die PCIe-Aktivität eines bestimmten Programms mithilfe von NVIDIA’s NVML-Bibliothek zu überwachen, die über Zähler zur Überwachung des PCIe-Link-Durchsatzes verfügt. Das Programm stellt die PCIe-Verbindungsaktivität des überwachten Programms genau dar, hat aber Probleme bei kurzen Speicherübertragungen aufgrund der Aktualisierungsfrequenz der Zähler. Das dritte Tool zielt zusätzlich darauf ab, kürzere Speichertransfers zu erkennen, was den größten Nachteil des NVML-Ansatzes ausgleicht. Dazu wird der PCIe-Link durch das Kopieren kleiner Speicherabschnitte belastet und die Bandbreiten überwacht, wobei eine geringere Bandbreite auf Aktivität des PCIe-Links hinweist. Dieses Tool kann kürzere Speicherkopiervorgänge auf Kosten eines erheblichen Overheads für das zu überwachende Programm erkennen. Für jedes Tool werden Einschränkungen aufgelistet, wobei es schwierig ist, Workarounds für diese Einschränkungen zu finden, da die Dokumentation für die Bibliotheken, die bei der Entwicklung der einzelnen Tools verwendet wurden, mangelhaft sind. Zusammengenommen bieten die entwickelten Werkzeuge einen einzigartigen und andersartigen Ansatz für die Überwachung von Datenbewegungen über den PCIe-Bus in heterogenen Computersystemen. Systemen     «

Datenbewegungen und die Verbindungen in heterogenen Systemen werden bald zum Engpass für die Rechengeschwindigkeiten werden, aufgrund der Abkehr von Allzweck Prozessoren hin zu spezialisierten Architekturen und Beschleunigern. Das Ziel dieser Bachelorarbeit ist es, Einblicke in die Datenbewegungen über den PCIe-Bus in heterogenen Computersystemen zu gewinnen, genauer gesagt in die Datenübertragung zwischen CPU und GPU. Die Arbeit beschreibt die Entwicklung einer Reihe von CUDA-basierten...     »