One approach to reducing the resource requirements of neural networks (NNs) is to use structured matrices, like sequentially semiseparable (SSS) matrices. In this thesis, I show that for NNs with SSS weight matrices, the computational resources required for inference can be reduced while still achieving high prediction accuracy. The achieved accuracy depends on the problem, the method used to bring the structure into the network, and the type of structure used in the NN.
Übersetzte Kurzfassung:
Ein Ansatz zur Verringerung des Ressourcenbedarfs neuronaler Netze (NNs) ist die Verwendung strukturierter Matrizen, wie z.B. sequentiell semiseparable (SSS) Matrizen. In dieser Arbeit zeige ich, dass für NNs mit SSS Gewichtsmatrizen die für die Inferenz benötigten Rechenressourcen reduziert und eine hohe Vorhersagegenauigkeit erreicht werden kann. Die Genauigkeit hängt von der Problemstellung, der Methode, mit der die Struktur in das Netz gebracht wird, und der Art der verwendeten Struktur ab.