In jüngster Zeit hat sich Federated Learning (FL) als vielversprechender Ansatz für das Training von Modellen des maschinellen Lernens auf verteilten Daten herauskristallisiert, wobei Datenschutz und Eigentumsrechte gewahrt bleiben. Bei FL können mehrere Clients gemeinsam ein Modell trainieren, ohne einem zentralen Server Zugang zu ihren sensiblen privaten Datensätzen zu gewähren. FL-Clients trainieren ihre Modelle lokal und führen regelmäßige Aktualisierungen der Gewichtungen an den Server durch, die dann aggregiert werden, und anschließend werden die globalen Parameter am Ende jeder Runde wieder an die Clients verteilt. Gemeinsame Herausforderungen traditioneller Infrastructure-as-a-Service (IaaS) basierter föderierter Lernsysteme sind eine geringere Ressourceneffizienz und hohe Infrastrukturkosten/-management aufgrund ungenutzter Ressourcen. Das Paradigma des serverlosen Computings beseitigt diese Probleme durch die automatische Bereitstellung von Ressourcen und die Skalierung auf einer Pay-per-Use-Basis. Daher wurde in früheren Arbeiten ein Serverless-Federated-Learning-Framework vorgeschlagen, das mehrere kommerzielle und selbst gehostete Function-as-a-Service (FaaS)-Anbieter als Clients unterstützt und die Vorteile des Serverless Computing in das föderierte maschinelle Lernen integriert. Es setzt jedoch voraus, dass jeder Client über dieselbe Modellarchitektur verfügt, da es auf Techniken zur globalen Mittelwertbildung von Parametern basiert. Dies ist jedoch in der Praxis aufgrund der Systemheterogenität zwischen den Clients nicht möglich, da sie sich nicht auf eine globale Modellarchitektur einigen können. Außerdem müssen die Kunden aufgrund der statistischen Datenheterogenität unabhängig voneinander Modellarchitekturen wählen können, die für ihre eigene Datenverteilung optimiert sind, und gleichzeitig von anderen Kunden lernen. Schließlich erfordern diese Mittelungstechniken die Übertragung von Client-Gewichten an einen zentralen Server, was zu Datenschutzproblemen führen kann. Unsere Arbeit konzentriert sich hauptsächlich auf die Erweiterung der Fähigkeit dieses Rahmens, heterogene Client-Modelle unter Verwendung von Knowledge Distillation (KD) zu ermöglichen, die diese Probleme bei ähnlichen Leistungsergebnissen löst. Wir analysieren bestehende IaaS-basierte föderierte KD-Algorithmen und implementieren schließlich zwei Algorithmen, d.h. FedMD und FedDF, in das aktuelle FaaS-basierte Framework auf der Grundlage ihrer Leistung und einfachen Integration zusammen mit anderen optimierungsbezogenen Erweiterungen. Wir evaluieren das System in einer verteilten Umgebung mit 100 FaaS-Clients (mit heterogenen Modellarchitekturen) auf der Grundlage der Genauigkeitsleistung bei verschiedenen Datenheterogenitätsstufen, der Ausführungsdauer und der FaaS-Kosten für verschiedene Lernaufgaben. Wir erreichen bei allen Lernaufgaben ähnliche Genauigkeitsniveaus wie unser Vorgänger FedLesScan, bei einer durchschnittlich 3,5x Beschleunigung des FedMD-Vortrainingsprozesses und einer 76,7% Reduzierung der Ausführungszeit für die FedDF-Aggregation im Vergleich zu sequenziellen Ausführungszeiten.
«
In jüngster Zeit hat sich Federated Learning (FL) als vielversprechender Ansatz für das Training von Modellen des maschinellen Lernens auf verteilten Daten herauskristallisiert, wobei Datenschutz und Eigentumsrechte gewahrt bleiben. Bei FL können mehrere Clients gemeinsam ein Modell trainieren, ohne einem zentralen Server Zugang zu ihren sensiblen privaten Datensätzen zu gewähren. FL-Clients trainieren ihre Modelle lokal und führen regelmäßige Aktualisierungen der Gewichtungen an den Server durc...
»