In order to prevent the Kessler Syndrome and to extent the operational lifetime of satellites, Active Debris Removal and On Orbit Servicing missions are planned. Both rely on an uncooperative rendezvous between the chaser and the target. Often an exact 3D model of the target is not available which makes the task even more difficult. Many research groups as well as different space industry companies are developing systems for an uncooperative rendezvous. The RACOON-Lab at TUM is one of those research groups. In its hardware-in-the-loop test stand, rendezvous missions can be simulated. In previous studies, a toolchain was developed that calculates the trajectory of the chaser around the target and a 3D reconstruction of the target using only the data coming from the sensors mounted on the chaser. For that purpose, a DIFODO algorithm is used. This toolchain is not suitable for a real mission yet with reflections in the input image causing the most problems. This thesis proposes a toolchain to evaluate Reinforcement Learning (RL) to enhance the depth images recorded by the sensors of the chaser in order to improve the accuracy of the 3D reconstruction and the trajectory. The RL agent chooses depth image filters to apply to the input image before it is processed by the DIFODO algorithm. For this toolchain, a Proximal Policy Optimization algorithm and a dense reward function were chosen. The RL environment was implemented following OpenAI’s Gym interface. It can thus be used independent of the RL algorithm or the implementation of the same used in this thesis. Expressive figure types which can be created using functions implemented as part of this thesis were developed. These enable an evaluation of both the RL agent’s performance and the toolchain itself. The expressiveness of the figures types were ranked in three categories: as an individual figure, when being compared to figures of the same type and when being compared to or combined with figures of other types. Additionally, functions to optimize two essential parameters – the number of parallel environments and the learning rate – were implemented and tested. These allow a quick tuning of the parameters. In combination the toolchain, the figures, and the parameter optimization functions form a tool which can be used to evaluate the usage of RL in future studies of the RACOON-Lab. Furthermore, the reward function was tested using a trajectory previously calculated in the RACOON-Lab. These tests showed problems in all of the components of the reward function, most of which are caused by fluctuations in the coordinates and orientation angles calculated by the DIFODO algorithm. An option to address the problems in the reward function has been proposed for future evaluations of RL in the RACOONLab’s toolchain.     «

In order to prevent the Kessler Syndrome and to extent the operational lifetime of satellites, Active Debris Removal and On Orbit Servicing missions are planned. Both rely on an uncooperative rendezvous between the chaser and the target. Often an exact 3D model of the target is not available which makes the task even more difficult. Many research groups as well as different space industry companies are developing systems for an uncooperative rendezvous. The RACOON-Lab at TUM is one of those r...     »

Um das Eintreten des Kessler-Syndroms zu verhindern und die operationale Lebenszeit von Satelliten zu verlängern, sind Active Debris Removal- und On Orbit Servicing- Missionen geplant. Für beide ist ein unkooperatives Rendezvous-Manöver zwischen den Verfolger und dem Ziel notwendig. Häufig steht kein exaktes 3D-Modell des Ziels zur Verfügung, was die Aufgabe weiter erschwert. Viele Forschungsgruppen und Firmen aus der Weltraumindustrie entwickeln Systeme für unkooperative Rendezvous- Manöver. Das RACOON-Lab an der TUM ist eine dieser Forschungsgruppen. In ihrem Hardwarein- the-loop-Teststand können Rendezvous-Missionen simuliert werden. In vorangegangenen Arbeiten wurde eine Toolchain entwickelt, die die Trajektorie des Verfolgers um das Ziel sowie eine 3D-Rekonstruktion des Ziels berechnet und dabei ausschließlich auf Daten von Sensoren, die auf dem Verfolger montiert sind, zurückgreift. Dafür wird der DIFODO-Algorithmus eingesetzt. Die Toolchain ist noch nicht für eine reale Mission geeignet, wobei Reflektionen in den verwendeten Bildern die meisten Probleme verursachen. Diese Arbeit schlägt eine Toolchain zur Evaluation von Reinforcement Learning (RL) zur Verbesserung von Tiefenbildern, die von den auf dem Verfolger monierten Sensoren aufgezeichnet wurden, vor, um die Genauigkeit der 3D-Rekonstruktion und der Trajektorie zu verbessern. Der RL-Agent wählt einen Tiefenbildfilter aus, der auf die Eingabebilder angewendet wird, bevor diese vom DIFODO-Algorithmus verarbeitet werden. Für diese Toolchain wurden ein PPO-Algorithmus sowie eine dichte Belohnungsfunktion ausgewählt. Die RL-Umgebung wurde gemäß OpenAIs Gym-Schnittstelle implementiert. Sie kann daher unabhängig vom in dieser Arbeit genutzten RL-Agenten oder der in dieser Arbeit genutzten Implementierung desselben verwendet werden. Es wurden aussagekräftige Diagrammarten entwickelt, die mit Funktionen, die als Teil dieser Arbeit implementiert wurden, erstellt werden können. Diese ermöglichen eine Evaluation der Performance des RL-Agenten und der Toolchain selbst. Die Aussagekraft der Diagrammarten wurde in drei Kategorien bewertet: als einzelnes Diagramm, im Vergleich mit anderen Diagrammen der gleichen Art und im Vergleich oder in Kombination mit Diagrammen anderer Art. Zusätzlich wurden Funktionen zur Optimierung zweier Parameter – der Anzahl an parallelen Umgebungen und der Lerngeschwindigkeit – implementiert und getestet. Diese ermölichen eine schnelle Optimierung der Parameter. Die Kombination der Toolchain, der Diagramme und der Funktionen zur Parameteroptimierungbilden ein Werkzeug, das genutzt werden kann, um den Einsatz von RL in künftigen Studien des RACOON-Labs zu evaluieren. Außerdem wurde die Belohnungsfunktion mit Hilfe einer zuvor im RACOON-Lab aufgezeichneten Trajektorie getestet. Dabei zeigten sich Probleme in allen Komponenten der Belohnungsfunktion, die vor allem von Schwankungen in den Koordinaten und Orientierungen, die der DIFODO-Algorithmus berechnet, hervorgerufen werden. Eine Möglichkeit, dieses Problem in künftigen Arbeiten zur Evaluierung von RL im RACOON-Lab anzugehen, wurde vorgeschlagen.     «

Um das Eintreten des Kessler-Syndroms zu verhindern und die operationale Lebenszeit von Satelliten zu verlängern, sind Active Debris Removal- und On Orbit Servicing- Missionen geplant. Für beide ist ein unkooperatives Rendezvous-Manöver zwischen den Verfolger und dem Ziel notwendig. Häufig steht kein exaktes 3D-Modell des Ziels zur Verfügung, was die Aufgabe weiter erschwert. Viele Forschungsgruppen und Firmen aus der Weltraumindustrie entwickeln Systeme für unkooperative Rendezvous- Manöver. D...     »