Network slicing, a pivotal aspect of 5G and beyond, allows operators to configure virtual network instances tailored to diverse services with specific requirements. However, achieving efficient slice-aware radio resource scheduling poses challenges due to complex inter-cell dependencies, inter-slice resource constraints, and service-specific needs. Reinforcement Learning (RL) opens a novel avenue for addressing dynamic optimization challenges, particularly in network management. As model-free solutions, RL approaches are committed to dynamically providing optimal solutions by formulating real systems as Markov Decision Process (MDP) and addressing the associated problems through RL algorithms. Recent advancements in Deep Reinforcement Learning (DRL) further expand their capabilities, enabling the resolution of more complex scenarios. This dissertation proposes innovative solutions leveraging multi-agent DRL to enhance slice performance while adhering to resource capacity constraints. This research also discusses the approaches employing multiple DRL agents to cooperatively optimize resource partition in individual cells for diverse slices, for escalating the densification of network deployment introduces non-trivial inter-cell interference. Recently, in several classical machine learning fields, Tansfer Learning (TL) techniques are also recommended to improve the model reproducibility and sample efficiency via transferring prior knowledge. Recognizing the limitations of DRL approaches tied to specific network environments, this dissertation also investigates the TL-aided solutions for network slicing. TL technique significantly improves service performance, demonstrating reduced exploration costs, accelerated convergence rates, and enhanced model reproducibility, outperforming existing baseline approaches. Lastly, to overcome the limitations of deep learning models in managing dynamic slicing configurations, the dissertation introduces a novel framework integrating constrained optimization methods and deep learning models, which exhibits high scalability, accommodating varying numbers of slices and configurations. This comprehensive dissertation contributes to advancing network slicing optimization through innovative applications of RL and TL techniques, specifically addressing the critical issue of slicing resource allocation. As closing remarks, we reiterate the caveats of using RL and TL techniques in next-generation network management and argue for broader research and practical usage of advanced machine learning methods in network optimization.     «

Network slicing, a pivotal aspect of 5G and beyond, allows operators to configure virtual network instances tailored to diverse services with specific requirements. However, achieving efficient slice-aware radio resource scheduling poses challenges due to complex inter-cell dependencies, inter-slice resource constraints, and service-specific needs. Reinforcement Learning (RL) opens a novel avenue for addressing dynamic optimization challenges, particularly in network management. As model-fre...     »

Network Slicing, ein Schlüsselelement der 5G-Technologie und darüber hinaus, erlaubt Betreibern, virtuelle Netzwerkinstanzen zu erstellen, die für verschiedene Dienste mit spezifischen Anforderungen maßgeschneidert sind. Allerdings ist die effiziente, slice-bewusste Planung von Funkressourcen aufgrund komplexer, zellübergreifender Abhängigkeiten, Inter-Slice-Ressourcenbeschränkungen und dienstspezifischer Anforderungen eine Herausforderung. Reinforcement Learning (RL) bietet neue Möglichkeiten, um dynamische Optimierungsprobleme zu lösen, insbesondere im Bereich des Netzwerkmanagements. Als modellfreie Ansätze formulieren RL-Methoden reale Systeme als Markov-Entscheidungsprozesse (MDP) und lösen die damit verbundenen Probleme dynamisch durch RL-Algorithmen. Fortschritte im Bereich des Deep Reinforcement Learning (DRL) haben dessen Fähigkeiten erweitert, um noch komplexere Szenarien zu bewältigen. Diese Dissertation präsentiert innovative Lösungen, die Multi-Agent-DRL verwenden, um die Leistung von Network Slices zu verbessern und gleichzeitig Ressourcenbeschränkungen einzuhalten. Sie diskutiert auch Ansätze, bei denen mehrere DRL-Agenten zusammenarbeiten, um die Ressourcenaufteilung innerhalb einzelner Zellen für verschiedene Slices zu optimieren, wobei zunehmende Netzverdichtung erhebliche zellübergreifende Interferenzen verursacht. Darüber hinaus werden in dieser Arbeit Transfer-Learning (TL)-Techniken vorgeschlagen, um in traditionellen Bereichen des maschinellen Lernens die Modellreproduzierbarkeit und Sample-Effizienz durch die Übertragung von Vorwissen zu verbessern. Angesichts der Einschränkungen von DRL, die oft an spezifische Netzwerkumgebungen gebunden sind, untersucht diese Dissertation auch TL-unterstützte Lösungen für das Network Slicing. Die TL-Technik verbessert die Dienstleistungen erheblich, indem sie die Erkundungskosten senkt, die Konvergenzraten beschleunigt und die Modellreproduzierbarkeit erhöht, und somit bestehende Ansätze übertrifft. Abschließend wird ein neuartiges Framework vorgestellt, das die Einschränkungen von Deep-Learning-Modellen bei der Verwaltung dynamischer Slicing-Konfigurationen überwindet, indem es beschränkte Optimierungsmethoden und Deep-Learning-Modelle integriert und eine hohe Skalierbarkeit aufweist, die unterschiedliche Anzahlen von Slices und Konfigurationen unterstützt. Diese umfassende Dissertation leistet einen wesentlichen Beitrag zur Optimierung des Network Slicings durch die innovative Anwendung von Transfer Learning und Reinforcement Learning Techniken und adressiert insbesondere das kritische Problem der Ressourcenaufteilung. Abschließend betone ich die Notwendigkeit weiterer Forschung und praktischer Anwendung fortschrittlicher maschineller Lernmethoden zur Optimierung von Netzwerken der nächsten Generation.     «

Network Slicing, ein Schlüsselelement der 5G-Technologie und darüber hinaus, erlaubt Betreibern, virtuelle Netzwerkinstanzen zu erstellen, die für verschiedene Dienste mit spezifischen Anforderungen maßgeschneidert sind. Allerdings ist die effiziente, slice-bewusste Planung von Funkressourcen aufgrund komplexer, zellübergreifender Abhängigkeiten, Inter-Slice-Ressourcenbeschränkungen und dienstspezifischer Anforderungen eine Herausforderung. Reinforcement Learning (RL) bietet neue Möglichkeite...     »