Systematic Data-Driven Continual Self-Learning

QC 20230414

Abstract

Datadrivna och självlärande system besitter en mycket stor outnyttjad potential för att förbättra automatisk kontroll och automatiskt beslutsfattande i komplexa industriella system. I mindre skala så har dessa metoder visats ha en viss potential rörande förbättrad prestanda för  automatisk justering av komplexa distribuerande system. Trots detta återstår många svåra frågor och utmaningar kring hur man utformar metoder och hur man organiserar implementering och drift för dessa i storskaliga realtidssystem. 

För systematisk och skalbar integrering av moderna maskininlärningstekniker i dessa verkliga och kommersiellt fungerande system föreslår vi här en strukturerad metod. För att förstå de viktigaste beståndsdelarna och arkitektoniska utmaningarna så namnger och förklarar vi en uppsättning sådana. Ur dessa härleder vi sedan fem forskningsfrågor, vilka undersöker det komplexa beroendeförhållandet mellan dataströmmar, självlärande algoritmer med kontinuerlig inlärning, samt stödjande referens- och driftstrukturer.Det finns fortfarande ett behov av övervakade ''one-shot''-modeller, men för att tänja på de tekniska gränserna avseende automatiserad träning av alla olika slags självlärande system så krävs en kontinuerlig metod. För att främja kontinuerlig inlärning kompletteras realtidsdataströmmar med adekvata syntetiska data, genererade för att möjliggöra träning av modellerna.Genom att utveckla och integrera avancerade simuleringar kan system och modeller tränas innan de implementeras för att användas ''live'', där systemets prestanda and korrekthet kan mätas kvantitativt i realistiska scenarier. För effektiv inlärning av en policy för nätverk så används förstärkningsinlärning (''reinforcement learning''), som utforskar en rymd av möjliga handlingar, ofta i kvalificerade kombinationer.

Medan centraliserad träning kan vara lämpligt i vissa fall så är distribuerade och självlärande agenter nödvändiga komponenter i industriellt storskaliga system. Därför utvecklar, implementerar och detaljanalyserar vi en sådan skalbar och energieffektiv metod.Att minska energianvändningen i mjuk- och hårdvaruintensiva kommunikationssystem, som 5G-radiosystemet, är en svår och viktig utmaning i sig. Vårt arbete har fokuserat på en energimedveten ansats med självlärande metoder, både  för tillämpningarna och för de grundläggande algoritmerna. Genom denna ansats har vi lyckats påvisa avsevärda energibesparingar samtidigt som systemets prestanda förbättrats. Till sist så är nyckelresultatet i vårt arbete analysen av de största utmaningarna för självlärande system i industriell skala och vi har därmed  tagit ett stort steg emot storskalig industrialisering av självlärande metoder inom kommunikationssystem 

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-325733