Study on Decentralized Machine Learning and Applications to Wireless Caching Networks

Tid: Må 2020-08-17 kl 14.30

Plats: Zoom (English)

Ämnesområde: Elektro- och systemteknik

Respondent: Yu Ye , Teknisk informationsvetenskap

Opponent: Zhu Han, Computer Science Department, University of Houston

Handledare: Ming Xiao, Teknisk informationsvetenskap

Abstract

För att främja utvecklingen av distribuerad maskininlärning är det viktigt att tillhandahålla effektiva modeller och algoritmer för inlärning. Denna avhandling ägnas åt utformningen av distribuerat flerfunktionsinlärning och decentraliserade algoritmer, samt tillämpningen av distribuerad maskininlärning i trådlösa cachningsnätverk. Givet utmaningarna med modellkomplexitet för distribuerad maskininlärning studeras distribuerad flerfunktionsfunktionsinlärning av randomiserat enkel-dolda lagerfeed-forward neurala närerk (RSF) implementering. Till att börja med undersöks först flerfunktionsinlärningen med RSF (MTL-RSF), där det delade delutrymmet mellan uppgifterna och de uppgiftsspecifika vikterna optimeras genom en alternerande optimeringsbaserad algoritm. MTL-RSF-problemet utvidgas ytterligare till det decentraliserade scenariot genom att införa delningsvariabler för lokala uppdragsmål och en konsensusbegränsning. Sedan föreslås algoritmen för hybrid Jacobian och Gauss-SeidelProximal multi-block Alternating Direction Method of Multipliers (ADMM) för attlösa det decentraliserade inlärningsproblemet. Dessutom bevisar vi genom teoretiskanalys att den ADMM-baserade algoritmen konvergerar till en stationär punkt. Beträffande flaskhalsen för kommunikationsbelastning i distribuerad flerfunktionsfunktionsinlärning som visats i tidigare arbete föreslås den parallella Random WalkADMM (PW-ADMM)-algoritmen som tillåter flera Random Walks aktiva för att uppnå en bra avvägning mellan kommunikationskostnad och körnings fart. Dessutom tillhandahåller vi den intelligenta PW-ADMM (IPW-ADMM) genom att integrera agensvalsschemat Random Walk med val med PW-ADMM. För att ytterligare sänka kommunikationskostnaderna vid distribuerad maskininlärning föreslås den inkrementella ADMM (I-ADMM) algoritmen, i vilken uppdateringsordningen följer en Hamiltoniancykel. Med de ökande oro för sekretess vid distribuerad maskininlärning föreslås de integritetsbevarande decentraliserade algoritmerna med kommunikationseffektivitet. Med utnyttjande av uppdateringssättet för I-ADMM tillhandahålls två integritetsbevarande I-ADMM-algoritmer, dvs PI-ADMM1 och PI-ADMM2, genom att introducera den slumpmässiga initialiseringen och störningarna över stegstorlek respektive primaluppdatering. Konvergensen av den föreslagna PI-ADMM1-algoritmen bevisas med milda antaganden. För att tillämpa distribuerad maskininlärning på trådlösa nätverk analyseras tjänstefördröjningen för en typisk användarterminal i cache-aktiverade små cellnätverk (SCN) och ultratäta nätverk (UDN) med millimetervåg (mmWave) -kommunikation och användarcentriska kluster. För att minimera den genomsnittliga servicefördröjningen för en typisk användarterminal för båda scenarierna presenteras en alternerande optimeringsbaserad algoritm för att gemensamt optimera cache-schema för små basstationer och användarterminaler. Sedan genom en Markov-förnyelseprocess kännetecknas mobilitetens mönster för användarterminaler. Sedan formuleras problemet med att förutsäga innehålls popularitet i geografiska aspekter genom att integrera rörlighetsmönstret med en decentraliserad, regulariserad modell för flera uppgifter. För att minimera förlusten med konsensusbegränsning föreslås en hybrid Jacobian och Gauss-Seidel proximalmulti-block ADMM-algoritm. Det bevisas att föreslagna lösningar kan konvergera till det optimala med O(1/k)-hastighet när algoritmparametrarna uppfyller specifika villkor.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-276455