Finite sample identification of artificial neural networks
Übersetzter Titel:
Identifizierung künstlicher neuronaler Netzwerke anhand einer finiten Anzahl von Stichproben
Autor:
Rauchensteiner, Michael
Jahr:
2024
Dokumenttyp:
Dissertation
Fakultät/School:
TUM School of Computation, Information and Technology
Betreuer:
Fornasier, Massimo (Prof. Dr.)
Gutachter:
Fornasier, Massimo (Prof. Dr.); Vybiral, Jan (Prof. Dr.); Balan, Radu Victor (Prof. Dr.)
Sprache:
en
Fachgebiet:
MAT Mathematik
TU-Systematik:
MAT 650; MAT 490
Kurzfassung:
This dissertation considers neural network identifiability, i.e., the retrieval of network parameters, by constructive methods using only network probes. We present an end-to-end recovery pipeline that provably retrieves the parameters of wide shallow networks with smooth and non-polynomial activations. Furthermore, relying on entangled weights, which generalize ordinary weights, enables us to encode weight information in network derivatives making our pipeline applicable to deep networks.
Übersetzte Kurzfassung:
Wir befassen uns mit der effizienten und konstruktiven Parameteridentifizierung von künstlichen neuronalen Netzwerken anhand von wenigen Netzwerkauswertungen. Die präsentierten Algorithmen rekonstruieren die Parameter von weiten zweischichtigen Netzwerken mit nicht-polynomischen Aktivierungsfunktionen. Außerdem behandeln wir die Rekonstruktion von tiefen neuronalen Netzwerken basierend auf generalisierten Gewichten, welche sich in Hesse-Matrizen des Netzwerks einbetten lassen.