Machine learning has traditionally been a thing of powerful computers and even supercomputers. Recent increases in computational power and the development of specialized architecture led to the possibility to perform machine learning, especially inference, on the edge. Those edge devices include small computers like the Nvidia Jetson Nano and accelerators like the Intel Neural Compute Sticks. In this thesis these devices and their respective frameworks are compared amongst each other and to an Apple MacBook Pro which represents a more traditional machine learning device. The comparisons are done by using an almost identical inference script across all platforms. The maximum possible throughput is also tested with tools specialized on the respective framework. Four models with a different number of convolutional layers were used to put a special emphasis on this kind of layer. The precision of the models dropped after the conversion to OpenVINO for the Neural Compute Sticks, but remained equally high on the other frameworks. Regarding performance, the MacBook was still the fastest device overall, but lost more performance proportionally to edge devices when used with an increasing number of convolutional layers. Amongst the edge devices, the Jetson Nano was the fastest, followed by the 2nd gen Neural Compute Stick and the 1st gen Neural Compute Stick.     «

Machine learning has traditionally been a thing of powerful computers and even supercomputers. Recent increases in computational power and the development of specialized architecture led to the possibility to perform machine learning, especially inference, on the edge. Those edge devices include small computers like the Nvidia Jetson Nano and accelerators like the Intel Neural Compute Sticks. In this thesis these devices and their respective frameworks are compared amongst each other and to an A...     »

Machine Learning war traditionell leitungsstarken Computern und Supercomputern vorbehalten. Steigerungen der Rechenleistungen und die Entwicklungen von spezialisierter Architektur haben es ermöglicht, Machine Learning, insbesondere Inferenz, auch auf der "Edge" zu betreiben. Die sogenannten "Edge Devices" umfassen kleine Computer wie den Nvidia Jetson Nano und Beschleunigerhardware wie die Intel Neural Compute Sticks. In dieser Arbeit werden diese Geräte untereinander und mit einem Apple MacBook Pro, welches einen traditionelleren Machine Learning Computer repräsentiert, verglichen. Die Vergleiche werden mit fast identischen Inferenzprogrammen über alle Plattformen hinweg durchgeführt. Der höchstmögliche Durchsatz wird mit den spezialisierten Tools des jeweiligen Frameworks ebenfalls getestet. Vier Modelle mit einer unterschiedlichen Anzahl von Convolutional Layers werden getestet, um ein besonderes Augenmerk auf ebendiese Layer zu richten. Die Präzision der Modelle verringerte sich nach der Konvertierung zu OpenVINO für die Neural Compute Sticks, blieb jedoch bei allen anderen Frameworks gleich. Das MacBook war das schnellste Gerät, verlor prozentual aber mehr Leistung mit einer steigenden Anzahl von Convolutional Layers. Bei den "Edge Devices" war der Jetson Nano am schnellsten, gefolgt vom Neural Compute Stick der 2.Generation und dem Neural Compute Stick der 1.Generation.     «

Machine Learning war traditionell leitungsstarken Computern und Supercomputern vorbehalten. Steigerungen der Rechenleistungen und die Entwicklungen von spezialisierter Architektur haben es ermöglicht, Machine Learning, insbesondere Inferenz, auch auf der "Edge" zu betreiben. Die sogenannten "Edge Devices" umfassen kleine Computer wie den Nvidia Jetson Nano und Beschleunigerhardware wie die Intel Neural Compute Sticks. In dieser Arbeit werden diese Geräte untereinander und mit einem Apple MacBook...     »