In recent years, Machine Learning (ML) has made significant progress in being incorporated into many aspects of our life. While centralized ML paradigms provide good performance, they typically require access to the entire dataset, which may be impractical for specific tasks and may raise privacy concerns. Federated Learning (FL) was proposed to address this issue and migrate from using a centralized training approach to a distributed one. FL Clients preserve their data for local training and send the locally optimized model updates for the aggregation to the central server. FL, like any distributed system, has issues such as security, scalability, fault tolerance, and synchronization. Previous work proposed using Function-as-a- Service (FaaS) platforms to address some of these issues and facilitate an efficient training process among heterogeneous clients. FaaS is an efficient computation model to run stateless functions without worrying about infrastructure management. Moreover, FaaS environments only charge for consumed resources that dynamically scale according to demand. Although FaaS addresses problems such as scalability and infrastructure management, it still leaves some issues to be handled by the developers. Stragglers in an FL system are one of these issues. The effect of stragglers can severely hinder system performance, slow down convergence, or increase training time. Consequently, FL algorithms must be resilient against stragglers for the system to function efficiently. Our work focuses mainly on the problem of stragglers, particularly in FaaS-based federated learning. We propose a new clustering-based strategy, FedLesScan, designed to mitigate the effect of stragglers in serverless-based federated learning. We provide an extensive evaluation of our strategy and compare it to novel FL approaches on four different datasets with different ratios of stragglers. Compared to novel approaches, FedLesScan reduces training time by an average of 8% and retains a cost advantage of 20%, while improving test accuracy by 2%.     «

In recent years, Machine Learning (ML) has made significant progress in being incorporated into many aspects of our life. While centralized ML paradigms provide good performance, they typically require access to the entire dataset, which may be impractical for specific tasks and may raise privacy concerns. Federated Learning (FL) was proposed to address this issue and migrate from using a centralized training approach to a distributed one. FL Clients preserve their data for local training a...     »

In den letzten Jahren hat das maschinelle Lernen (ML) erhebliche Fortschritte bei der Integration in viele Aspekte unseres Lebens gemacht. Zentralisierte ML-Paradigmen bieten zwar eine gute Leistung, erfordern aber in der Regel den Zugriff auf den gesamten Datensatz, was für bestimmte Aufgaben unpraktisch sein und Bedenken hinsichtlich des Datenschutzes aufwerfen kann. Federated Learning (FL) wurde vorgeschlagen, um dieses Problem anzugehen und von einem zentralisierten Trainingsansatz zu einem verteilten zu wechseln. FL-Clients bewahren ihre Daten für das lokale Training und senden die lokal optimierten Modell-Aktualisierungen für die Aggregation an den zentralen Server. Wie bei jedem verteilten System gibt es auch bei FL Probleme wie Sicherheit, Skalierbarkeit, Fehlertoleranz und Synchronisation. In früheren Arbeiten wurde vorgeschlagen, Function-as-a-Service (FaaS)-Plattformen zu verwenden, um einige dieser Probleme zu lösen und einen effizienten Trainingsprozess zwischen heterogenen Clients zu ermöglichen. FaaS ist ein effizientes Berechnungsmodell zur Ausführung zustandsloser Funktionen, ohne sich um die Verwaltung der Infrastruktur kümmern zu müssen. Darüber hinaus werden in FaaS-Umgebungen nur die verbrauchten Ressourcen in Rechnung gestellt, die dynamisch entsprechend der Nachfrage skaliert werden. Obwohl FaaS Probleme wie Skalierbarkeit und Infrastrukturverwaltung löst, bleiben einige Probleme bestehen, die von den Entwicklern behandelt werden müssen. Nachzügler in einem FL-System sind eines dieser Probleme. Die Auswirkungen von Nachzüglern können die Systemleistung stark beeinträchtigen, die Konvergenz verlangsamen oder die Trainingszeit erhöhen. Folglich müssen FL-Algorithmen gegen Nachzügler widerstandsfähig sein, damit das System effizient funktioniert. Unsere Arbeit konzentriert sich hauptsächlich auf das Problem von Nachzüglern, insbesondere beim FaaS-basiertem föderiertem Lernen. Wir schlagen eine neue cluster-basierte Strategie, FedLesScan, vor, um die Auswirkungen von Nachzüglern in Serverless-basierten föderierten Lernsystemen zu mildern. Wir bieten eine umfassende Bewertung unserer Strategie und vergleichen sie mit neuartigen FL-Ansätzen auf vier verschiedenen Datensätzen mit unterschiedlichen Anteilen von Nachzüglern. Im Vergleich zu neuen Ansätzen reduziert FedLesScan die Trainingszeit um durchschnittlich 8 % und behält einen Kostenvorteil von 20 %, während die Testgenauigkeit um 2 % verbessert wird     «

In den letzten Jahren hat das maschinelle Lernen (ML) erhebliche Fortschritte bei der Integration in viele Aspekte unseres Lebens gemacht. Zentralisierte ML-Paradigmen bieten zwar eine gute Leistung, erfordern aber in der Regel den Zugriff auf den gesamten Datensatz, was für bestimmte Aufgaben unpraktisch sein und Bedenken hinsichtlich des Datenschutzes aufwerfen kann. Federated Learning (FL) wurde vorgeschlagen, um dieses Problem anzugehen und von einem zentralisierten Trainingsansatz zu einem...     »