Recently, Federated Learning(FL) has emerged as a promising approach for training machine learning models on distributed data, while preserving privacy and ownership. In FL, multiple clients can collaboratively train a model without providing access to their sensitive private data sets to a central server. FL clients train their models locally and perform periodic weight updates to the server which are then aggregated and afterward, the global parameters are distributed back to the clients at the end of each round. Common challenges of traditional Infrastructure-as-a-Service(IaaS) based federated learning systems are less resource efficiency and high infrastructure costs/management due to idle resources. The serverless computing paradigm eliminates these issues by automatically provisioning resources and scaling on a pay-per-use basis. Therefore, previous work proposed a serverless federated learning framework that supports multiple commercial and self-hosted Function-as-a-Service (FaaS) providers as clients integrating the benefits of serverless computing into federated machine learning. However, it requires each client to have the same model architecture since it is based on global parameter averaging techniques but this is not possible in practice due to system heterogeneity among the clients resulting in their inability to agree on a global model architecture. Moreover, due to statistical data heterogeneity among clients, they must have the independence to choose model architectures optimized for their private data distribution but also learn from other clients at the same time. Finally, these averaging techniques require client weight transfer to a central server which can lead to privacy issues. Our work mainly focuses on extending the ability of this framework to enable heterogeneous client models using Knowledge Distillation(KD) which addresses these problems while obtaining similar performance results. We analyze existing IaaS-based federated KD algorithms and finally implement two algorithms i.e. FedMD and FedDF in the current FaaS-based framework based on their performance and ease of integration along with other optimization-related enhancements. We evaluate the system in a distributed setting with 100 FaaS clients(having heterogeneous model architectures) based on accuracy performance across different data heterogeneity levels, execution duration, and FaaS costs for various learning tasks. We achieve accuracy levels similar to our predecessor FedLesScan across all learning tasks along with an average 3.5x speed-up in the FedMD pretraining process and a 76.7% execution time reduction for FedDF aggregation compared to sequential execution times.     «

Recently, Federated Learning(FL) has emerged as a promising approach for training machine learning models on distributed data, while preserving privacy and ownership. In FL, multiple clients can collaboratively train a model without providing access to their sensitive private data sets to a central server. FL clients train their models locally and perform periodic weight updates to the server which are then aggregated and afterward, the global parameters are distributed back to the clients at th...     »

In jüngster Zeit hat sich Federated Learning (FL) als vielversprechender Ansatz für das Training von Modellen des maschinellen Lernens auf verteilten Daten herauskristallisiert, wobei Datenschutz und Eigentumsrechte gewahrt bleiben. Bei FL können mehrere Clients gemeinsam ein Modell trainieren, ohne einem zentralen Server Zugang zu ihren sensiblen privaten Datensätzen zu gewähren. FL-Clients trainieren ihre Modelle lokal und führen regelmäßige Aktualisierungen der Gewichtungen an den Server durch, die dann aggregiert werden, und anschließend werden die globalen Parameter am Ende jeder Runde wieder an die Clients verteilt. Gemeinsame Herausforderungen traditioneller Infrastructure-as-a-Service (IaaS) basierter föderierter Lernsysteme sind eine geringere Ressourceneffizienz und hohe Infrastrukturkosten/-management aufgrund ungenutzter Ressourcen. Das Paradigma des serverlosen Computings beseitigt diese Probleme durch die automatische Bereitstellung von Ressourcen und die Skalierung auf einer Pay-per-Use-Basis. Daher wurde in früheren Arbeiten ein Serverless-Federated-Learning-Framework vorgeschlagen, das mehrere kommerzielle und selbst gehostete Function-as-a-Service (FaaS)-Anbieter als Clients unterstützt und die Vorteile des Serverless Computing in das föderierte maschinelle Lernen integriert. Es setzt jedoch voraus, dass jeder Client über dieselbe Modellarchitektur verfügt, da es auf Techniken zur globalen Mittelwertbildung von Parametern basiert. Dies ist jedoch in der Praxis aufgrund der Systemheterogenität zwischen den Clients nicht möglich, da sie sich nicht auf eine globale Modellarchitektur einigen können. Außerdem müssen die Kunden aufgrund der statistischen Datenheterogenität unabhängig voneinander Modellarchitekturen wählen können, die für ihre eigene Datenverteilung optimiert sind, und gleichzeitig von anderen Kunden lernen. Schließlich erfordern diese Mittelungstechniken die Übertragung von Client-Gewichten an einen zentralen Server, was zu Datenschutzproblemen führen kann. Unsere Arbeit konzentriert sich hauptsächlich auf die Erweiterung der Fähigkeit dieses Rahmens, heterogene Client-Modelle unter Verwendung von Knowledge Distillation (KD) zu ermöglichen, die diese Probleme bei ähnlichen Leistungsergebnissen löst. Wir analysieren bestehende IaaS-basierte föderierte KD-Algorithmen und implementieren schließlich zwei Algorithmen, d.h. FedMD und FedDF, in das aktuelle FaaS-basierte Framework auf der Grundlage ihrer Leistung und einfachen Integration zusammen mit anderen optimierungsbezogenen Erweiterungen. Wir evaluieren das System in einer verteilten Umgebung mit 100 FaaS-Clients (mit heterogenen Modellarchitekturen) auf der Grundlage der Genauigkeitsleistung bei verschiedenen Datenheterogenitätsstufen, der Ausführungsdauer und der FaaS-Kosten für verschiedene Lernaufgaben. Wir erreichen bei allen Lernaufgaben ähnliche Genauigkeitsniveaus wie unser Vorgänger FedLesScan, bei einer durchschnittlich 3,5x Beschleunigung des FedMD-Vortrainingsprozesses und einer 76,7% Reduzierung der Ausführungszeit für die FedDF-Aggregation im Vergleich zu sequenziellen Ausführungszeiten.     «

In jüngster Zeit hat sich Federated Learning (FL) als vielversprechender Ansatz für das Training von Modellen des maschinellen Lernens auf verteilten Daten herauskristallisiert, wobei Datenschutz und Eigentumsrechte gewahrt bleiben. Bei FL können mehrere Clients gemeinsam ein Modell trainieren, ohne einem zentralen Server Zugang zu ihren sensiblen privaten Datensätzen zu gewähren. FL-Clients trainieren ihre Modelle lokal und führen regelmäßige Aktualisierungen der Gewichtungen an den Server durc...     »