Deep neural networks need in general high amounts of data to gain high performance on a test set. Depending on the task, labeling such a big data set is very expensive whereas it is often easy to get huge amounts of unlabeled data. The purpose of this thesis is to find a much smaller subset on which the network performs similarly well. Thus, an active learning framework is built, which gradually samples from the given pool of unlabeled data. For the sampling process, different sampling methods such as uncertainty sampling, class balance sampling, and representation sampling are compared and combined in order to find the best method. By using Bayesian neural network, the uncertainty of the network’s parameters is extracted. Since they are intractable, different approximation methods are tested. Neural networks tend to overfit on small data sets. By applying regularization methods throughout the training, this can be reduced. From all these sampling methods, the combination of uncertainty sampling and class prediction methods yielded the best results. With the previous sampling method, the framework yielded a similar performance on the data set provided by PreciBake GmbH, but only used a tenth of the data for training.     «

Deep neural networks need in general high amounts of data to gain high performance on a test set. Depending on the task, labeling such a big data set is very expensive whereas it is often easy to get huge amounts of unlabeled data. The purpose of this thesis is to find a much smaller subset on which the network performs similarly well. Thus, an active learning framework is built, which gradually samples from the given pool of unlabeled data. For the sampling process, different sampling meth...     »

Tiefe Neuronale Netze (Deep neural networks) brauchen im Allgemeinen große Mengen annotierte Daten, um hochperformante Ergebnisse erzielen zu können. Die Idee von Ac- tive Learning (Aktives Lernen) ist hingegen die Daten, welche annotiert werden sollen, auszuwählen, damit das Neuronale Netz auch mit diesem Datensatz eine vergleichbare Performanz erreicht. Hierfür wird ein Algorithmus entwickelt, welcher von diesem Daten- satz schrittweise Teilmengen einer bestimmten Größe auswählt, diese annotieren lässt und das Neuronale Netz auf dem annotierten Teildatensatz trainiert. In dieser Masterar- beit werden verschiedene Methoden eingeführt und miteinander verglichen, welche in jeder Runde eine Teilmenge des Datensatzes auswählen. Eine der am vielversprechensten Meth- oden ist die Unsicherheit des Models über die Klassenzugehörtigkeit der nicht-annotierten Daten zu betrachten und Elemente auszuwählen auf denen das Model am unsichersten ist. Hierfr̈ sind Bayes Neuronale Netze von Nöten. Andere Methoden beachten etwa die Balanciertheit des Teildatensatzes oder aber dessen Diversität. Nicht zuletzt werden andere Neuronale Netze verwendet, um die Elemente des gesamten Datensatzes mit dem Teildatensatz repräsentieren oder rekonstruieren zu können. All diese Methoden werden evaluiert und die Performanz des Neuronalen Netzes wird mit der zufälligen Auswahl eines Datensatzes der gleichen Größe genauso wie mit dem Training auf dem gesamten Daten- satz verglichen. Außerdem werden verschiedene Regulierungsmethoden (Regularization) auf das Training des Netzes angewandt, damit es sich nicht einfach die gelabelten Daten merken kann. Das Hauptresultat ist, dass sich durch die Kombination der Konstruktion eines balancierten Teildatensatzes und eines mit Elementen, auf welchem das Neuronale Netz am unsichersten ist, die wenigsten Daten (zehn Prozent) braucht, um eine genauso gute Genauigkeit durch das Training auf dem Testdatensatz zu haben, wie durch das Training auf dem gesamten Datensatz.     «

Tiefe Neuronale Netze (Deep neural networks) brauchen im Allgemeinen große Mengen annotierte Daten, um hochperformante Ergebnisse erzielen zu können. Die Idee von Ac- tive Learning (Aktives Lernen) ist hingegen die Daten, welche annotiert werden sollen, auszuwählen, damit das Neuronale Netz auch mit diesem Datensatz eine vergleichbare Performanz erreicht. Hierfür wird ein Algorithmus entwickelt, welcher von diesem Daten- satz schrittweise Teilmengen einer bestimmten Größe auswählt, diese an...     »