Recent advances in natural language processing (NLP) and large language models (LLMs) have been largely driven by access to vast amounts of high-quality training data. However, data remains imbalanced across domains, languages, and stylistic variations, posing a significant challenge known as data sparsity. This dissertation investigates how machine translation (MT) models and LLMs can adapt effectively under data-sparse conditions, emphasizing generalization, robustness, and efficiency. We introduce the concept of adaptation to data sparsity (ADaS), and present a systematic exploration across three dimensions: domain, language, and style. The work proposes and evaluates novel adaptation strategies, including robust meta-learning, multilingual meta-adaptation, bidirectional contrastive learning, cross-lingual instruction tuning, neuron-level style control, and joint activation editing. These methods are validated on a range of tasks and benchmarks, demonstrating improvements in performance, sample efficiency, and generalization under low-resource conditions. The contributions of this thesis span six peer-reviewed publications and include new datasets, methodologies, and frameworks that enhance the adaptability of both MT systems and LLMs. Taken together, they advance our understanding of how modern NLP models can operate reliably and fairly under data limitations or imbalances, laying the groundwork for more inclusive and resource-efficient language technologies.     «

Recent advances in natural language processing (NLP) and large language models (LLMs) have been largely driven by access to vast amounts of high-quality training data. However, data remains imbalanced across domains, languages, and stylistic variations, posing a significant challenge known as data sparsity. This dissertation investigates how machine translation (MT) models and LLMs can adapt effectively under data-sparse conditions, emphasizing generalization, robustness, and efficiency. We i...     »

Die jüngsten Fortschritte in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und bei großen Sprachmodellen (Large Language Models, LLMs) sind weitgehend auf den Zugang zu riesigen Mengen hochwertiger Trainingsdaten zurückzuführen. Allerdings sind die Daten nach wie vor unausgewogen, was Domänen, Sprachen und stilistische Variationen angeht, was eine erhebliche Herausforderung darstellt, die als „Datenknappheit” (data sparsity) bekannt ist. Diese Dissertation untersucht, wie maschinelle Übersetzungsmodelle (MÜ) und LLMs sich unter Bedingungen mit geringen Ressourcen effektiv anpassen können, wobei der Schwerpunkt auf Generalisierung, Robustheit und Effizienz liegt. Wir führen ein Konzept zur Anpassung an Datenknappheit ein und präsentieren eine systematische Untersuchung in drei Dimensionen: Domäne, Sprache und Stil. Die Arbeit schlägt neue Anpassungsstrategien vor und bewertet diese, darunter robustes Meta-Lernen, mehrsprachige Meta-Anpassung, bidirektionales kontrastives Lernen, sprachübergreifendes instruction tuning, Stilkontrolle auf Neuronenebene und joint activation editing. Diese Methoden werden anhand einer Reihe von Tests und Benchmarks validiert und zeigen Verbesserungen in Bezug auf Leistung, Sample-Effizienz und Generalisierung unter Bedingungen mit geringen Ressourcen. Die Beiträge dieser Arbeit umfassen sechs peer-reviewed Veröffentlichungen und enthalten neue Datensätze, Methodiken und Frameworks, die die Anpassungsfähigkeit sowohl von MÜ-Systemen als auch von LLMs verbessern. Zusammengenommen fördern sie unser Verständnis davon, wie moderne NLP-Modelle unter Datenbeschränkungen oder -ungleichgewichten zuverlässig und fair funktionieren können, und legen den Grundstein für integrativere und ressourceneffizientere Sprachtechnologien.     «

Die jüngsten Fortschritte in der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und bei großen Sprachmodellen (Large Language Models, LLMs) sind weitgehend auf den Zugang zu riesigen Mengen hochwertiger Trainingsdaten zurückzuführen. Allerdings sind die Daten nach wie vor unausgewogen, was Domänen, Sprachen und stilistische Variationen angeht, was eine erhebliche Herausforderung darstellt, die als „Datenknappheit” (data sparsity) bekannt ist. Diese Dissertation untersucht, w...     »