This thesis studies whether integrating variational quantum circuits (VQC) into reinforcement learning (RL) frameworks can address inherent challenges classical RL face - scaling to continuous action and state spaces in more industrial-like environments that rely only on local feature generation. It aims to determine if quantum and hybrid models offer performance advantages and parameter efficiency over classical neural networks (NN) in simulated robot navigation tasks. An advanced RL environment is implemented, simulating continuous robot navigation with local sensory inputs like LiDAR, velocity, and orientation to closely mimic real-world conditions. A dynamic reward system encourages consistent progress and penalizes inefficiencies. Within the deep deterministic policy gradient (DDPG) framework, three function approximators are investigated: classical NNs and two VQC-based ansatzes, hybrid and quantum. Each is evaluated across multiple VQC setups by varying the qubit count and the number of layers to determine effects on performance and scalability. The ansatzes are then compared against classical NNs with a similar number of parameters to assess relative performance and parameter efficiency. Training and testing of all 117 models are conducted in a simulated robot navigation environment to systematically compare performance, aiming to uncover the strengths and limitations of integrating quantum computing into RL for robotic applications. The results demonstrate that quantum-enhanced models using VQCs successfully learn continuous robot navigation tasks using only local features in three environments of varying difficulty. Increasing the depth of the VQCs, particularly by adding more layers, substantially improves performance, with deeper quantum circuits (QC) outperforming simpler ones. Hybrid models provide balanced performance, especially in more complex environments, by showing characteristics of quantum and classical approaches. Some quantum models exhibit superior parameter efficiency, achieving comparable or superior results to classical models, though with significantly fewer trainable parameters. Findings confirm the potential of quantum reinforcement learning (QRL) to address challenges in continuous robot navigation tasks, indicating possible quantum advantages in parameter efficiency. However, practical implementation on real quantum hardware remains challenging due to current hardware limitations and noise constraints. Further research is needed to explore advanced algorithms and address issues like hyper-parameter sensitivity and barren plateaus to fully realize the potential of quantum-enhanced RL in robotics.     «

This thesis studies whether integrating variational quantum circuits (VQC) into reinforcement learning (RL) frameworks can address inherent challenges classical RL face - scaling to continuous action and state spaces in more industrial-like environments that rely only on local feature generation. It aims to determine if quantum and hybrid models offer performance advantages and parameter efficiency over classical neural networks (NN) in simulated robot navigation tasks. An advanced RL environmen...     »

Diese Arbeit untersucht, ob die Integration von variationalen Quantenschaltkreisen (VQC) in Reinforcement-Learning-(RL)-Frameworks die inhärenten Herausforderungen, denen klassisches RL gegenübersteht – wie die Skalierung auf kontinuierliche Aktions- und Zustandsräume in stärker industrialisierten Umgebungen, die sich ausschließlich auf lokale Merkmalsgenerierung stützen – lösen kann. Ziel ist es zu bestimmen, ob Quanten- und Hybridmodelle im Vergleich zu klassischen neuronalen Netzen (NN) bei simulierten Roboter-Navigationsaufgaben Leistungs- und Parametereffizienzvorteile bieten. Eine fortschrittliche RL-Umgebung wird implementiert, die eine kontinuierliche Roboter-Navigation mit lokalen Sensoreingaben wie LiDAR, Geschwindigkeit und Orientierung simuliert, um reale Bedingungen so genau wie möglich nachzubilden. Ein dynamisches Belohnungssystem fördert kontinuierlichen Fortschritt und bestraft Ineffizienzen. Im Rahmen des Deep Deterministic Policy Gradient (DDPG) werden drei Funktionsapproximationen untersucht: klassische NNs sowie zwei VQC-basierte Ansätze, Hybrid und Quanten. Jeder Ansatz wird über mehrere VQC-Konfigurationen hinweg bewertet, indem die Anzahl der Qubits und Schichten variiert wird, um die Auswirkungen auf Leistung und Skalierbarkeit zu bestimmen. Die Ansätze werden dann mit klassischen NNs mit einer ähnlichen Anzahl an Parametern verglichen, um die relative Leistung und Parametereffizienz zu bewerten. Das Training und die Tests aller 117 Modelle erfolgen in einer simulierten Roboter-Navigationsumgebung, um systematisch die Leistung zu vergleichen und die Stärken und Schwächen der Integration von Quantencomputing in RL für robotische Anwendungen aufzudecken. Die Ergebnisse zeigen, dass quantum-verbesserte Modelle unter Verwendung von VQCs erfolgreich kontinuierliche Roboter-Navigationsaufgaben unter Verwendung nur lokaler Merkmale in drei Umgebungen unterschiedlicher Schwierigkeit erlernen. Eine Erhöhung der Tiefe der VQCs, insbesondere durch das Hinzufügen weiterer Schichten, verbessert die Leistung erheblich, wobei tiefere Quanten-Schaltkreise (QC) einfachere übertreffen. Hybride Modelle bieten eine ausgewogene Leistung, insbesondere in komplexeren Umgebungen, da sie Merkmale sowohl von Quanten- als auch klassischen Ansätzen zeigen. Einige Quantenmodelle weisen eine überlegene Parametereffizienz auf, indem sie mit signifikant weniger trainierbaren Parametern vergleichbare oder bessere Ergebnisse als klassische Modelle erzielen. Die Ergebnisse bestätigen das Potenzial von Quantum Reinforcement Learning (QRL), Herausforderungen bei kontinuierlichen Roboter-Navigationsaufgaben zu bewältigen, und weisen auf mögliche Quanten-Vorteile in Bezug auf Parametereffizienz hin. Die praktische Implementierung auf echter Quanten-Hardware bleibt jedoch aufgrund aktueller Hardware-Beschränkungen und Rauschprobleme eine Herausforderung. Weitere Forschung ist erforderlich, um fortschrittliche Algorithmen zu entwickeln und Probleme wie Hyperparameter-Sensitivität und Barren Plateaus zu lösen, um das volle Potenzial von quantum-verbessertem RL in der Robotik auszuschöpfen.     «

Diese Arbeit untersucht, ob die Integration von variationalen Quantenschaltkreisen (VQC) in Reinforcement-Learning-(RL)-Frameworks die inhärenten Herausforderungen, denen klassisches RL gegenübersteht – wie die Skalierung auf kontinuierliche Aktions- und Zustandsräume in stärker industrialisierten Umgebungen, die sich ausschließlich auf lokale Merkmalsgenerierung stützen – lösen kann. Ziel ist es zu bestimmen, ob Quanten- und Hybridmodelle im Vergleich zu klassischen neuronalen Netzen (NN) bei s...     »