Machine Learning war traditionell leitungsstarken Computern und Supercomputern vorbehalten. Steigerungen der Rechenleistungen und die Entwicklungen von spezialisierter Architektur haben es ermöglicht, Machine Learning, insbesondere Inferenz, auch auf der "Edge" zu betreiben. Die sogenannten "Edge Devices" umfassen kleine Computer wie den Nvidia Jetson Nano und Beschleunigerhardware wie die Intel Neural Compute Sticks. In dieser Arbeit werden diese Geräte untereinander und mit einem Apple MacBook Pro, welches einen traditionelleren Machine Learning Computer repräsentiert, verglichen.
Die Vergleiche werden mit fast identischen Inferenzprogrammen über alle Plattformen hinweg durchgeführt. Der höchstmögliche Durchsatz wird mit den spezialisierten Tools des jeweiligen Frameworks ebenfalls getestet. Vier Modelle mit einer unterschiedlichen Anzahl von Convolutional Layers werden getestet, um ein besonderes Augenmerk auf ebendiese Layer zu richten.
Die Präzision der Modelle verringerte sich nach der Konvertierung zu OpenVINO für die Neural Compute Sticks, blieb jedoch bei allen anderen Frameworks gleich. Das MacBook war das schnellste Gerät, verlor prozentual aber mehr Leistung mit einer steigenden Anzahl von Convolutional Layers. Bei den "Edge Devices" war der Jetson Nano am schnellsten, gefolgt vom Neural Compute Stick der 2.Generation und dem Neural Compute Stick der 1.Generation.
«
Machine Learning war traditionell leitungsstarken Computern und Supercomputern vorbehalten. Steigerungen der Rechenleistungen und die Entwicklungen von spezialisierter Architektur haben es ermöglicht, Machine Learning, insbesondere Inferenz, auch auf der "Edge" zu betreiben. Die sogenannten "Edge Devices" umfassen kleine Computer wie den Nvidia Jetson Nano und Beschleunigerhardware wie die Intel Neural Compute Sticks. In dieser Arbeit werden diese Geräte untereinander und mit einem Apple MacBook...
»