In Causal Discovery we aim to learn the causal structure from a set of system random variables based on purely observational data. Recent results showed, that this is possible in many cases. If interventions are possible, we can in principle infer the causal structure from comparably little interventional observations. In situations where observations are very expensive but interventions can be done, it is natural to ask, what would be the most informative intervention to determine the underlying causal structure. In this thesis, we focus on learning causal relations using interventions and implement an algorithm that simulates an intelligent agent which repeatedly interacts with its environment. In this work we consider an Active Bayesian approach for causal structure learning. It is rooted in the intersection of statistical research on Causal Discovery and research on Active Learning in the area of Artificial Intelligence. The approach was proposed by [49, von Kügelgen et al.] and in this paper we present numerical results of the full implementation for the first time. We model an environment of random variables using Structural Causal Models (SCM) that imply corresponding Directed Acyclic Graphs (DAGs) and estimate the functional relations therein using Gaussian Process (GP) regression. We assume that we can perform perfect interventions on the environment variables. In each step iteration of a sequential procedure we choose the most informative intervention experiment (using Bayesian Experimental Design) and obtain one interventional data point from performing the experiment. Then, we calculate the posterior distribution of the DAGs (resp. SCMs, which encode the causal structure) and afterwards update the GP fits in the SCM. We terminate the procedure as soon as the posterior probability for one DAG is significantly larger than for all others. We implement the procedure for the case of two random variables. We test the algorithm on synthetic data from which the true causal relation is known. The implemented algorithm finds the true causal relation with great reliability for many different parameter choices. In the experiments we find indication that it is best to confirm likely causal relations by intervening on the respective causes; always on the same support region, where we already have some initial observations and where the estimate of the functional relation has some degree of nonlinear curvature. We also describe how to generalize the implementation to the case of four variables, for which computations become very time consuming. Based on the observations about the behavior of the algorithm in the bi-variate case, we heuristically propose a procedure how to overcome the computational burden (motivated by ideas from Bayesian Optimization). The bottleneck of the method is the optimization procedure, which already requires too time-consuming calculations in the case of four variables. However, the observation that interventions are always chosen in the same region indicates that the optimization can be simplified and that there exists is an alternative procedure with comparable results.     «

In Causal Discovery we aim to learn the causal structure from a set of system random variables based on purely observational data. Recent results showed, that this is possible in many cases. If interventions are possible, we can in principle infer the causal structure from comparably little interventional observations. In situations where observations are very expensive but interventions can be done, it is natural to ask, what would be the most informative intervention to determine the underlyin...     »

Aktuelle Ergebnisse der Forschung zur Kausalinferenz haben gezeigt, dass die kausale Struktur eines Systems von Zufallsvariablen oft aus (reinen) Beobachtungsdaten bestimmt werden kann. Prinzipiell kann die Kausalstruktur auch aus wenigen Interventionsbeaobachtungen abgeleitet werden, falls es möglich ist diese zu erheben. In Situationen, in denen Beobachtungen sehr teuer sind, wir jedoch prinzipiell Interventionen an den Systemvariablen vornehmen können, stellt sich die Frage, was die informativste Intervention zur Bestimmung der Kausalstruktur ist. In dieser Arbeit betrachten wir einen aktiven Bayes’schen Ansatz für das Lernen von Kausalstrukturen. Er wurzelt in der Schnittmenge von statistischer Forschung zur Kausalinferenz und Forschung zum aktiven Lernen im Bereich der Künstlichen Intelligenz. Der Ansatz wurde von [49, von Kügelgen et al.] vorgeschlagen und in dieser Arbeit präsentieren wir zum ersten Mal numerische Ergebnisse der vollständigen Implementierung. Dazu modellieren wir ein System von Zufallsvariablen mit Hilfe von strukturellen Kausalmodellen (SCM), die einen gerichteten azyklischen Graphen (DAGs) implizieren, und schätzen die darin enthaltenen funktionalen Beziehungen mittels Gauss Prozess (GP) Regression. Wir nehmen an, dass perfekte Interventionen in die Systemvariablen möglich sind. In einem sequenziellen Verfahren wählen wir in jedem Schritt das informativste Interventionsexperiment (unter Verwendung der Bayes’schen Versuchsplanung) und erhalten einen Interventionsdatenpunkt aus der Durchführung des Experiments. Dann berechnen wir die Posterior-Verteilung der DAGs (bzw. SCMs, die die kausale Struktur kodieren) und aktualisieren anschließend die GP-Fits in den SCMs. Wir beenden das Verfahren, sobald die Posterior-Wahrscheinlichkeit für ein DAG deutlich größer ist als für alle anderen. Wir haben das Verfahren für den Fall von zwei Zufallsvariablen implementiert und den Algorithmus an synthetischen Daten getestet. Dabei hat der Algorithmus die richtige kausale Struktur mit großer Zuverlässigkeit erkannt. In den Experimenten hat die Implementierung versucht, wahrscheinliche kausale Beziehungen zu bestätigen. Dafür is es am informativsten auf dem jeweiligen Grund der Kausalbeziehung zu intervenieren; immer in einer gleichbleibenden kleinen Region, in der wir bereits einige anfängliche Beobachtungen haben und die Schätzung der funktionalen Beziehung zwischen Grund und Effekt einen gewissen Grad an nichtlinearer Krümmung aufweist. Außerdem wird beschrieben, wie die Implementierung auf den Fall von vier Variablen verallgemeinert werden kann. Basierend auf den Beobachtungen über das Verhalten des Algorithmus im bivariaten Fall schlagen wir heuristisch ein Verfahren vor, das durch Ide-en aus der Bayes’schen Optimierung motiviert ist, und den Rechenaufwand verringern kann. Der Flaschenhals des Verfahrens ist das Optimierungsverfahren, welches schon bei vier Variablen zu zeitaufwendige Rechnungen benötigt. Die Beobachtung, dass Interventionen immer in dem selben Bereich gewählt werden, deutet jedoch darauf hin, dass die Optimierung sich vereinfachen lässt und es ein alternatives Verfahren mit vergleichbaren Ergebnissen gibt.     «

Aktuelle Ergebnisse der Forschung zur Kausalinferenz haben gezeigt, dass die kausale Struktur eines Systems von Zufallsvariablen oft aus (reinen) Beobachtungsdaten bestimmt werden kann. Prinzipiell kann die Kausalstruktur auch aus wenigen Interventionsbeaobachtungen abgeleitet werden, falls es möglich ist diese zu erheben. In Situationen, in denen Beobachtungen sehr teuer sind, wir jedoch prinzipiell Interventionen an den Systemvariablen vornehmen können, stellt sich die Frage, was die informati...     »