This thesis addresses the platform gap between embedded microcontroller and cloud computing for neural network inferences on the Edge with a combined HW-SW-AI solution. A RISC-V processor is used as a baseline for exploring custom hardware extensions. For this thesis a streaming engine is developed as a plugin, which accelerates the inference computation by deploying common properties of NN-models. Additionally, an optimized vector dot-product unit is developed to enable appropriate compute bandwidth. The software flow completes the solution and automates the NN mapping onto the accelerated RISC-V.     «

This thesis addresses the platform gap between embedded microcontroller and cloud computing for neural network inferences on the Edge with a combined HW-SW-AI solution. A RISC-V processor is used as a baseline for exploring custom hardware extensions. For this thesis a streaming engine is developed as a plugin, which accelerates the inference computation by deploying common properties of NN-models. Additionally, an optimized vector dot-product unit is developed to enable appropriate compute band...     »

Diese Arbeit adressiert die Plattformlücke zwischen eingebettetem Mikrocontroller und Cloud Computing für neuronale Netzwerkinferenzen auf dem Edge mit einer kombinierten HW-SW-AI-Lösung. Ein RISC-V-Prozessor wird als Basis für die Erforschung spezialisierter Hardware-Erweiterungen verwendet. Für diese Arbeit wurde eine Streaming-Einheit als Plugin entwickelt, die die Inferenzberechnung durch Ausnutzung häufiger Eigenschaften von NN-Modellen beschleunigt. Zusätzlich wird eine optimierte Vektor Skalar-Produkt-Einheit entwickelt, um eine angemessene Rechenbandbreite zu ermöglichen. Der Softwareflow vervollständigt die Lösung und automatisiert die NN-Abbildung auf dem beschleunigten RISC-V.     «

Diese Arbeit adressiert die Plattformlücke zwischen eingebettetem Mikrocontroller und Cloud Computing für neuronale Netzwerkinferenzen auf dem Edge mit einer kombinierten HW-SW-AI-Lösung. Ein RISC-V-Prozessor wird als Basis für die Erforschung spezialisierter Hardware-Erweiterungen verwendet. Für diese Arbeit wurde eine Streaming-Einheit als Plugin entwickelt, die die Inferenzberechnung durch Ausnutzung häufiger Eigenschaften von NN-Modellen beschleunigt. Zusätzlich wird eine optimierte Vektor S...     »