Optimizing the Conversion of Continuous-Valued Networks to Spiking Neural Networks
Übersetzter Titel:
Optimierung der Konvertierung kontinuierlich aktivierter Netzwerke zu gepulsten neuronalen Netzwerken
Autor:
Müller, Etienne
Jahr:
2024
Dokumenttyp:
Dissertation
Fakultät/School:
TUM School of Computation, Information and Technology
Institution:
Informatik 6 - Lehrstuhl für Robotik, Künstliche Intelligenz und Echtzeitsysteme (Prof. Knoll)
Betreuer:
Knoll, Alois Christian (Prof. Dr. habil.)
Gutachter:
Knoll, Alois Christian (Prof. Dr. habil.); Diesmann, Markus (Prof. Dr.)
Sprache:
en
Fachgebiet:
DAT Datenverarbeitung, Informatik
TU-Systematik:
DAT 260; DAT 815
Kurzfassung:
We present optimization techniques and novel approaches for the conversion of continuous-valued networks to spiking neural networks (SNNs). This enables faster inference and improved hyperparameter approximation in rate-coded networks providing a basis for very deep SNNs and for spiking transformer networks. Furthermore, it allows for sparse, low-energy computation with temporal-coded networks and previously infeasible time-series processing through population coding.
Übersetzte Kurzfassung:
Wir präsentieren Optimierungen und neue Ansätze für die Konvertierung kontinuierlich aktivierter neuronaler Netze zu gepulsten neuronalen Netzen (SNNs). Dies ermöglicht eine schnellere Inferenz und eine verbesserte Hyperparameterannäherung in ratenkodierten Netzen, als Basis für sehr tiefe SNNs und für gepulste Transformer. Außerdem ermöglicht es eine spärliche, energiesparende Nutzung zeitlich kodierter Netze und eine zuvor nicht mögliche Zeitreihenverarbeitung durch Populationskodierung.