Various processes in nature can be modelled as dynamical systems. These systems range from climate and ocean circulation to cells and organisms, from non-linear optics to turbulent and reactive flows. Many systems involve high intrinsic dimensionality and complex dynamics extending over multiple spatio-temporal scales. Furthermore, extreme events may appear. Extreme events are characterized by rare transitions that are several standard deviations away from the mean value of the state variables. Regarding the before mentioned dynamical systems, examples of extreme events are tsunamis, tornadoes, volcanoes, floodings and droughts, earthquakes etc. A lot of effort is put into understanding these systems and different forecasting approaches are used. The three main methods are large scale simulations, dimension reduction techniques and multiple data driven forecasting techniques. Successful methods involve the highly nonlinear energy transfer between modes. Large scale simulations are based on the complete description of the system through governing equations. These equations may be computationally difficult to solve and make these methods more expensive. In order to reduce complexity, models can be used, but they themselves can have a certain model error. Classical dimension reduction methods are based on projection. If the underlying set of equations possesses high intrinsic dimensionality, problems often arise as the truncated degrees of freedom are essential for an effective description of the system. In this context, machine learning methods can help. Some studies have proven that recurrent neural networks are able to learn the dynamics of chaotic systems and are therefore universal approximators of dynamical systems. However, due to the intrinsic property of chaos, that small deviations get amplified exponentially, prediction time is limited. The idea of this work is to combine a projection method with a data driven method to improve accuracy and to extend the prediction time. We use a Proper Orthogonal Decomposition as projection method and combine it with an Echo State (ESN). The key concept is that the recurrent neuronal network assists the reduced order model which lost some information due to the reduction. We introduce three hybrid methods, assess their performance of the Lorenz system, the Platt system, the Charney-DeVore system and the Kuramoto Sivashinsky (KS) equation and compare the results with the pure machine learning method. We start with the Lorenz system, which is a well known low-dimensional chaotic system and continue to increase complexity and dimensionality and end with the KS equation which is a high-dimensional chaotic system in the discretized version. The first hybrid method uses the ESN to predict the truncated dynamics and reconstructs the solution in the reduced space. The second hybrid method uses the ESN to predict the truncated dynamics as well, however, the solution is reconstructed in full solution space. In the third hybrid method, the ESN not only predicts the next time step of the solution but is also able to let in information from the ROM. We apply a parameter search routine to find good parameters for each method, test the prediction performance for different reservoir sizes as well as investigate the behavior of the ROM and the methods for different levels of information loss. The results show that hybrid method 1 and 2 can only be used successfully in certain areas. Hybrid method 1 demands accurate ROMs and the reconstruction of the solution in reduced space is too restrictive with low-dimensional systems. Hybrid method 2 tries to correct this and reconstructs the solution in full space. However, this method does not produce consistent results. Hybrid method 3 is superior to the pure data-driven method in all cases. The ability to decide between ROM and ESN information is the key to success.      «

Various processes in nature can be modelled as dynamical systems. These systems range from climate and ocean circulation to cells and organisms, from non-linear optics to turbulent and reactive flows. Many systems involve high intrinsic dimensionality and complex dynamics extending over multiple spatio-temporal scales. Furthermore, extreme events may appear. Extreme events are characterized by rare transitions that are several standard deviations away from the mean value of the state variables....     »

Verschiedenste Prozesse in der Natur können als dynamische Systeme modelliert werden. Diese Systeme reichen von Klima- und Ozeanzirkulation bis zu Zellen und Organismen, von nichtlinearer Optik bis zu turbulenten und reaktiven Strömungen. Viele Systeme sind hochdimensional, komplex und die dynamischen Phänomene erstrecken sich über mehrere räumlich-zeitliche Skalen. Darüber hinaus können Extremereignisse auftreten. Bei diesen seltenen Ereignissen nimmt der Wert der betrachteten Zustandsvariablen Werte an, welche mehrere Standardabweichungen vom Mittelwert entfernt ist. Beispiele für Extremereignisse in Bezug auf die zuvor erwähnten dynamischen Systeme sind Tsunamis, Tornados, Vulkanausbrüche, Überschwemmungen und Dürren, Erdbeben usw. Großes Interesse besteht darin, diese Systeme zu verstehen und deren Verhalten vorherzusagen. Momentan werden hauptsächlich drei Methoden zur Vorhersage dieser Systeme verwendet: Großskalige Simulationen, Dimensionsreduktionstechniken und verschiedene datenbasierte Simulationstechniken. Genaue und erfolgreiche Methoden bilden den stark nichtlinearen Energietransfer zwischen den Moden ab. Großskalige Simulationen basieren auf der vollständigen Beschreibung des Systems durch mathematische Gleichungen. Diese Gleichungen können schwierig und deshalb maschinell teuer zu lösen sein. Um die Komplexität der zu beschreibenden Gleichungen zu verringern, können Modelle verwendet werden, welche jedoch selbst auch wieder einen bestimmten Modellfehler haben können. Klassische Dimensionsreduktionsmethoden basieren auf Projektion. Bei höherdimensionalen Systemen treten häufig Probleme auf, da die vernachlässigten Moden oft wichtige Informationen zur genauen Beschreibung des Systems beinhalten. In diesem Zusammenhang können Methoden des maschinellen Lernens hilfreich sein. Einige Studien haben gezeigt, dass rekurrente neuronale Netze universelle Approximatoren dynamischer Systeme sind und daher die Dynamik chaotischer Systeme lernen können. Aufgrund der chaotischen Eigenschaft ist es jedoch der Fall, dass kleine Abweichungen exponentiell verstärkt werden und die Vorhersagezeit deshalb stark limitiert ist. Die Idee dieser Arbeit ist es, eine Projektionsmethode mit einer Methode des maschinellen Lernens zu kombinieren, um eine genauere Methode zu entwickeln und somit die Vorhersagezeit zu verlängern. In dieser Arbeit verwenden wir die Proper Orthogonal Decomposition (POD) als Projektionsmethode um ein Modell reduzierter Ordnung (ROM) zu erzeugen und kombinieren dieses mit einem Echo State Network (ESN). Das Schlüsselkonzept ist, dass das neuronale Netzwerk das ROM unterstützt, welches aufgrund der Dimensionsreduzierung Information verloren hat. Wir stellen drei Hybridmethoden vor, testen deren Genauigkeit am Lorenz-System, Platt-System, Charney-DeVore-System und der Kuramoto Sivashinsky (KS) Gleichung und vergleichen die Ergebnisse mit der Leistung des reinen neuronalen Netzes. Wir starten mit dem Lorenz-System, das ein bekanntes dreidimensionales chaotisches System ist und erhöhen die Komplexität und Dimensionalität bis zur KS-Gleichung, welche in diskretisierter Form ein hochdimensionales chaotisches System ist. Die erste Hybridmethode verwendet das ESN um die dynamischen Effekte der vernachlässigten Moden vorherzusagen und rekonstruiert die Lösung nur im reduzierten Raum. Die zweite Hybridmethode verwendet das ESN ebenfalls um die dynamischen Effekte der vernachlässigten Moden vorherzusagen, jedoch werden die vernachlässigten Koeffizienten ebenfalls miteinbezogen und die Lösung wird unter der Verwendung aller Moden rekonstruiert. Bei der dritten Hybridmethode ist das ESN nicht nur für die Vorhersage des nächsten Zeitschritts verantwortlich, es lässt auch Information vom ROM einfließen. Um geeignete Parameter für das ESN zu finden, wird für jede Methode eine Parametersuchroutine angewandt. Zusätzlich wird das Verhalten der verschiedenen Methoden für steigende Reservoirgrößen und das Verhalten der Hybridmethoden mit ROMs verschiedener Genauigkeit untersucht. Die Ergebnisse zeigen, dass die Hybridmethoden 1 und 2 nur in bestimmten Bereichen erfolgreich eingesetzt werden können. Die Hybridmethode 1 erfordert genaue ROMs und die Rekonstruktion der Lösung im reduzierten Raum ist speziell bei niedrigdimensionalen Systemen zu restriktiv. Hybridmethode 2 versucht dies zu korrigieren und rekonstruiert die Lösung im vollen Raum. Diese Methode zeigt jedoch keine konsistenten Ergebnisse. Hybridmethode 3 ist in allen Anwendungsfällen dem ESN alleine überlegen. Die Fähigkeit, sich zwischen ROM- und ESN-Information zu entscheiden, ist hierbei der Schlüssel zum Erfolg.     «

Verschiedenste Prozesse in der Natur können als dynamische Systeme modelliert werden. Diese Systeme reichen von Klima- und Ozeanzirkulation bis zu Zellen und Organismen, von nichtlinearer Optik bis zu turbulenten und reaktiven Strömungen. Viele Systeme sind hochdimensional, komplex und die dynamischen Phänomene erstrecken sich über mehrere räumlich-zeitliche Skalen. Darüber hinaus können Extremereignisse auftreten. Bei diesen seltenen Ereignissen nimmt der Wert der betrachteten Zustandsvariablen...     »