Mobile Network Operator Collaboration using Deep Reinforcement Learning
Tid: Må 2021-03-15 kl 13.00
Plats: https://kth-se.zoom.us/j/65558254589, (English)
Ämnesområde: Maskinkonstruktion
Respondent: Athanasios Karapantelakis , Maskinkonstruktion (Inst.)
Opponent: Professor Crnkovic Ivica,
Handledare: Adjunct Professor Elena Fersman, Maskinkonstruktion (Inst.)
Abstract
Femte generationens mobila nätverk (5G) är utformade för att tillhandahålla nätverkstjänster för nya typer av applikationer som ska tillgodose behoven hos både privatpersoner och företagskunder. De krav på nätverkstjänster som sådana applikationer ställer överskrider ofta kapaciteten hos en enda mobilnätoperatör (MNO). Det blir då avgörande att flera MNO:er har förmågan att samarbeta för att tillsammans uppfylla de krav som ställs. Befintliga metoder för att etablera samarbeten mellan MNO:er är reaktiva till sin natur och ställs in med hjälp av ett business support system (BSS) som involverar mänskligt beslutsfattande.
I denna avhandling presenteras ett proaktivt tillvägagångssätt, vilket för att möjliggöra automatisering av samarbeten, dessutom använder maskininlärning för att förutsäga applikationers framtida krav och optimerar resursallokeringen dynamiskt genom urval av samarbetsvilliga MNO:er. Analysen inleds med att undersöka möjligheten för mobilnät att leva upp till de krav som ställts av tillämpningen. I vårt fall valdes som tillämpning, i samarbete med en partner i bilindustrin, en fjärrstyrningsapplikation för fordon. Kraven på nätverket kvantifierades i termer av genomströmning (eng. throughput) och latens. Befintliga quality of service (QoS)-mekanismer i ett redan existerande mobilt nätverk användes för att ställa in motsvarande policyer, varpå nätverksstjänsten prestandan utvärderades. Utvärderingen genomförs inom den geografiska räckvidden för en enstaka radiobasstation och beaktar ett enstaka fordon som kommuniceras med, och fjärrstyrs från, en avlägset belägen kommandocentral. Resultaten visar att det är möjligt att implementera den här sortens verksamhetskritiska applikationer även i nuvarande generationens mobila 5G-nät.
Efter denna kvantitativa bedömning, genomfördes en mer omfattande studie där nätverkskraven inte kunde garanteras med bara en enstaka MNO. I avhandlingen används djup reinforcement learning (RL), för att bygga modeller som förutser applikationers framtida nätverkskrav och föreslår proaktivt MNO-samarbeten som uppfyller dessa. Experiment genomfördes med två olika tillvägagångssätt. Först ett tillvägagångssätt där beslut om samarbeten tillhandahålls av en MNO-oberoende agent. I detta fall använder alla MNO:er samma policy för rättvist samarbete, förutsatt att de delar upp tillhandahållandet av anslutningstjänster mellan varandra. För det andra fallet används en multi-agent-strategi, där varje MNO har sin egen agent som följer en egen policy för när de ska samarbeta med andra MNO:er. Båda metoderna jämförs med en metod baserad på förutbestämda samarbetsstrukturer samt med en reaktiv samarbetsmetod baserad på aktuella nätverkskrav.
Vårt föreslagna tillvägagångssätt visar sig ge en tvåfaldig förbättring i prestanda jämfört med andra tillgängliga metoder, med avseende på QoS. En annan fördel är resursoptimering, eftersom flera MNO:er möjliggör bättre anpassning av nätverkstjänster. Denna resursoptimering kan i sin tur bidra till en mer hållbar tillväxt av mobilnät. Slutligen möjliggör denna demokratisering av samarbeten nya intäktsströmmar för mindre MNO:er som saknar kapacitet eller resurser för att etablera samarbeten på traditionella sätt. Även om en teleoperationsapplikation och Third Generation Partnership Project (3GPP)-mobilnätverk används i utvärderingen förväntas den presenterade metoden och resultaten kunna tillämpas på ett bredare spektrum av applikationer i olika typer av trådlösa nätverk.