Finite sample identification of artificial neural networks

Rauchensteiner, Michael

Michael Rauchensteiner

If you experience problems opening the document, please try this link.

Original title:: Finite sample identification of artificial neural networks
Translated title:: Identifizierung künstlicher neuronaler Netzwerke anhand einer finiten Anzahl von Stichproben
Author:: Rauchensteiner, Michael
Year:: 2024
Document type:: Dissertation
Faculty/School:: TUM School of Computation, Information and Technology
Advisor:: Fornasier, Massimo (Prof. Dr.)
Referee:: Fornasier, Massimo (Prof. Dr.); Vybiral, Jan (Prof. Dr.); Balan, Radu Victor (Prof. Dr.)
Language:: en
Subject group:: MAT Mathematik
TUM classification:: MAT 650; MAT 490
Abstract:: This dissertation considers neural network identifiability, i.e., the retrieval of network parameters, by constructive methods using only network probes. We present an end-to-end recovery pipeline that provably retrieves the parameters of wide shallow networks with smooth and non-polynomial activations. Furthermore, relying on entangled weights, which generalize ordinary weights, enables us to encode weight information in network derivatives making our pipeline applicable to deep networks.
Translated abstract:: Wir befassen uns mit der effizienten und konstruktiven Parameteridentifizierung von künstlichen neuronalen Netzwerken anhand von wenigen Netzwerkauswertungen. Die präsentierten Algorithmen rekonstruieren die Parameter von weiten zweischichtigen Netzwerken mit nicht-polynomischen Aktivierungsfunktionen. Außerdem behandeln wir die Rekonstruktion von tiefen neuronalen Netzwerken basierend auf generalisierten Gewichten, welche sich in Hesse-Matrizen des Netzwerks einbetten lassen.
WWW:: https://mediatum.ub.tum.de/?id=1705561
Date of submission:: 24.04.2023
Oral examination:: 12.01.2024
File size:: 2766493 bytes
Pages:: 196
Urn (citeable URL):: https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:91-diss-20240112-1705561-1-2
Last change:: 10.01.2025
BibTeX