Decentralized deep learning in statistically heterogeneous environments

Abstract

I modern maskininlärning förlitar man sig på central lagring av data för att träna modeller. Detta sätt att träna modeller på är ofta opraktiskt, eller till och med otillåtet, i många realistiska sammanhang. Det finns många orosmoment gällande dataintegritet, ägarskap och etiskt användade av publika datamängder, som växer allt snabbare när mängden information växer. Dessutom medför insamling, lagring och hantering av storskaliga datamängder betydande kostnader. Mobiltelefoner är ett exempel där mycket data genereras dagligen -- användare tar foton, spelar in ljud, skriver textmeddelanden och mycket mer. Att samla in denna data är dyrt och ofta omöjligt att behandla centralt. I ljuset av detta har distribuerad maskininlärning dykt upp som ett lovande alternativ.

Distribuerad maskininlärning möjliggör modellträning för klienter utan något krav på att centralisera data. I detta ramverk stannar data hos klienterna, som tränar modeller lokalt och istället delar modelluppdateringar. Federerad inlärning är ett sådant exempel, som bygger på en central server för att koordinera modellträning genom att aggregera och distribuera modeller. Decentraliserad inlärning eliminerar däremot behovet av en central server helt och hållet, genom att klienter kommunicerar direkt i ett peer-to-peer-nätverk för att kollaborativt träna modeller. Men när data skiljer sig mellan klienter -- när dataheterogeniteten är stor -- försvårar det att träna modeller via aggregering. Denna avhandling föreslår därmed nya strategier för att förbättra träning i distribuerad maskininlärning i miljöer av betydande dataheterogenitet.

Först presenterar vi metoder för klientselektion och klustring, vilket möjliggör för klienter att samarbeta selektivt med klienter med liknande datafördelningar. Detta tillvägagångssätt kringgår begränsningarna med en global modell som inte nödvändigtvis kan generalisera över samtliga klienter. Vidare utvecklar vi integritetsbevarande metoder för att uppskatta datalikhet utan att kränka användarnas integritet genom att använda flerarmade banditer. Utöver att ta itu med stationär dataheterogenitet, tar avhandlingen också upp utmaningen med icke-stationära datamängder. En ny algoritm föreslås som gör det möjligt för modeller att anpassa sig över tid. Slutligen studerar vi generativa modeller och föreslår en ny metod för att träna generative adversarial networks (GANs) decentraliserat.

Sammantaget förbättrar bidragen från denna avhandling skalbarheten och prestandan hos distribuerade maskininlärningssystem. Genom att förbättra systemens förmåga att hantera heterogena datamiljöer skapar detta arbete ett mer robust ramverk, vilket banar väg för bredare användning av distribuerad maskininlärning.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-357727