TUM School of Computation, Information and Technology
Advisor:
Ecker, Wolfgang (Prof. Dr.)
Referee:
Ecker, Wolfgang (Prof. Dr.); Sigl, Georg (Prof. Dr.)
Language:
en
Subject group:
ELT Elektrotechnik
TUM classification:
ELT 272; DAT 700
Abstract:
This thesis addresses the platform gap between embedded microcontroller and cloud computing for neural network inferences on the Edge with a combined HW-SW-AI solution. A RISC-V processor is used as a baseline for exploring custom hardware extensions. For this thesis a streaming engine is developed as a plugin, which accelerates the inference computation by deploying common properties of NN-models. Additionally, an optimized vector dot-product unit is developed to enable appropriate compute bandwidth. The software flow completes the solution and automates the NN mapping onto the accelerated RISC-V.
«
This thesis addresses the platform gap between embedded microcontroller and cloud computing for neural network inferences on the Edge with a combined HW-SW-AI solution. A RISC-V processor is used as a baseline for exploring custom hardware extensions. For this thesis a streaming engine is developed as a plugin, which accelerates the inference computation by deploying common properties of NN-models. Additionally, an optimized vector dot-product unit is developed to enable appropriate compute band...
»
Translated abstract:
Diese Arbeit adressiert die Plattformlücke zwischen eingebettetem Mikrocontroller und Cloud Computing für neuronale Netzwerkinferenzen auf dem Edge mit einer kombinierten HW-SW-AI-Lösung. Ein RISC-V-Prozessor wird als Basis für die Erforschung spezialisierter Hardware-Erweiterungen verwendet. Für diese Arbeit wurde eine Streaming-Einheit als Plugin entwickelt, die die Inferenzberechnung durch Ausnutzung häufiger Eigenschaften von NN-Modellen beschleunigt. Zusätzlich wird eine optimierte Vektor Skalar-Produkt-Einheit entwickelt, um eine angemessene Rechenbandbreite zu ermöglichen. Der Softwareflow vervollständigt die Lösung und automatisiert die NN-Abbildung auf dem beschleunigten RISC-V.
«
Diese Arbeit adressiert die Plattformlücke zwischen eingebettetem Mikrocontroller und Cloud Computing für neuronale Netzwerkinferenzen auf dem Edge mit einer kombinierten HW-SW-AI-Lösung. Ein RISC-V-Prozessor wird als Basis für die Erforschung spezialisierter Hardware-Erweiterungen verwendet. Für diese Arbeit wurde eine Streaming-Einheit als Plugin entwickelt, die die Inferenzberechnung durch Ausnutzung häufiger Eigenschaften von NN-Modellen beschleunigt. Zusätzlich wird eine optimierte Vektor S...
»