In this thesis, we begin by stating the portfolio optimization problem and some of the traditional approaches used for solving it. We also mention a previous work in Reinforcement Learning (RL) and state our own project outline on how we are going to expand the work. We then start off with a short primer on RL and in particular look at an "Actor-Critic" technique called Deep Determinisitic Policy Gradients (DDPG), which can be used to maximize rewards in a continuous setting. We state our experimental set up and also discuss the different critic and the actor functions, we can employ in our set up. Afterwards, we then present the first version of our proposed algorithm, DDPGFunctions. We provide a brief commentary of the system architecture of our framework, the modular components, hyper tuning framework, and the tools for tracking experiments and graphing. Understanding some potential problems with the vanilla approach we try to speed up and improve the accuracy of our results and performance in subsequent versions of DDPGFunctions - DDPGShockBuffer and DDPGEstimates. We compare our results of all these approaches against a variety of environment settings and hyper parameter configurations. In the final part of the thesis, we consider certain aspects for future work and discuss some limitations with our current approach.      «

In this thesis, we begin by stating the portfolio optimization problem and some of the traditional approaches used for solving it. We also mention a previous work in Reinforcement Learning (RL) and state our own project outline on how we are going to expand the work. We then start off with a short primer on RL and in particular look at an "Actor-Critic" technique called Deep Determinisitic Policy Gradients (DDPG), which can be used to maximize rewards in a continuous setting. We state our experi...     »

In dieser Arbeit beginnen wir damit, das Portfoliooptimierungsproblem und einige der traditionellen Ansätze zu seiner Lösung aufzuzeigen. Wir erwähnen auch eine frühere Arbeit in Reinforcement Learning (RL) und legen unsere eigene Projektskizze dar, wie wir die Arbeit erweitern werden. Wir beginnen dann mit einer kurzen Einführung in RL und betrachten insbesondere eine „Actor-Critic“-Technik namens Deep Deterministic Policy Gradients (DDPG), die verwendet werden kann, um Belohnungen in einer kontinuierlichen Umgebung zu maximieren. Wir stellen unseren Versuchsaufbau vor und diskutieren auch die verschiedenen Kritiker- und Akteursfunktionen, die wir in unserem Aufbau einsetzen können. Danach präsentieren wir dann die erste Version unseres vorgeschlagenen Algorithmus, DDPGFunctions. Wir geben einen kurzen Kommentar zur Systemarchitektur unseres Frameworks, den modularen Komponenten, dem Hyper-Tuning-Framework und den Tools zum Verfolgen von Experimenten und Graphen. Da wir einige potenzielle Probleme mit dem Vanilla-Ansatz verstehen, versuchen wir, die Genauigkeit unserer Ergebnisse und Leistung in nachfolgenden Versionen von DDPGFunctions – DDPGShockBuffer und DDPGEstimates – zu beschleunigen und zu verbessern. Wir vergleichen unsere Ergebnisse all dieser Ansätze mit einer Vielzahl von Umgebungseinstellungen und Hyperparameterkonfigurationen. Im letzten Teil der Arbeit betrachten wir bestimmte Aspekte für zukünftige Arbeiten und diskutieren einige Einschränkungen unseres derzeitigen Ansatzes.     «

In dieser Arbeit beginnen wir damit, das Portfoliooptimierungsproblem und einige der traditionellen Ansätze zu seiner Lösung aufzuzeigen. Wir erwähnen auch eine frühere Arbeit in Reinforcement Learning (RL) und legen unsere eigene Projektskizze dar, wie wir die Arbeit erweitern werden. Wir beginnen dann mit einer kurzen Einführung in RL und betrachten insbesondere eine „Actor-Critic“-Technik namens Deep Deterministic Policy Gradients (DDPG), die verwendet werden kann, um Belohnungen in einer kon...     »