Multi-Agent Learning Under Spatio-Temporal Constraints in Coordinated Communication Networks

QC 20260410

Abstract

Moderna mobilnät har blivit alltmer komplexa genom åren och genomgår en övergång från glesa makrocellsutbyggnader till ultratäta, heterogena system. I denna avhandling fokuserar vi specifikt på ett problem inom radioresurshantering (RRM) kallat fjärrstyrd elektrisk lutning (Remote Electrical Tilt, RET). Målet med RET-optimering är att justera antennernas lutning för att fördela radioresurser där de behövs som mest. I takt med att mobilnäten utvecklas mot 6G förväntas en oöverträffad tillväxt i automatiseringsbehov, vilket introducerar nya koordinationsutmaningar som förstärks av de tätare näten. Traditionell nätverkshantering har varit beroende av manuell justering och regelbaserad heuristik, vilket är otillräckligt för nästa generations behov då det skalar upp dåligt. Även om förstärkningsinlärning i fleragentsystem (MARL) framstår som ett lovande verktyg för att autonomt nätverk, kämpar nuvarande lösningar ofta med problemets storskalighet. Dessutom misslyckas de med att ge garantier och begränsas av kortsiktiga, stegvisa belöningsstrukturer som inte kan fånga de komplexa krav som nätoperatörer ställer på nätverket. Bristen på dessa egenskaper hindrar live driftsättning i nät bortom småskaliga pilotstudier.

Denna avhandling föreslår en serie metoder som syftar till att tillhandahålla autonom kontroll av nätverksparametrar med hög tillförlitlighet. Bidragen bygger progressivt på varandra, från spatial interferenskoordinering till långsiktig, riskmedveten planering för att uppfylla operatörernas nätverksmål (intents). Först hanterar vi kortsiktiga begränsningar genom att utnyttja grafbaserad dekomponering och koordinationsgrafer för att faktorisera det gemensamma beslutsutrymmet, vilket möjliggör skalbar villkorad inlärning i täta stadsmiljöer. Med insikten att kritisk infrastruktur kräver tillförlitlighet bortom genomsnittlig prestanda, introducerar vi också ett riskmedvetet ramverk för villkorad inlärning som utnyttjar betingat riskvärde (Conditional Value-at-Risk) för att möjliggöra resonerande kring villkor i nätverket.

För att överbrygga gapet mellan kontroll på låg nivå och operatörers mål på hög nivå går vi från skalära belöningar till formella specifikationer. Vi använder Signal Temporal Logic (STL) och Transformer-baserade arkitekturer för att uppfylla komplexa mål, vilket gör det möjligt för agenter att resonera kring långsiktiga krav. Slutligen rör vi oss från traditionella kontrollstrategier mot generativ planering av trajektorier. Genom att använda probabilistiska diffusionsmodeller ämnar vi till att möjliggöra generering av säkra planer av hög kvalitet som respekterar hårda villkor med probabilistiska garantier.

De föreslagna metoderna utvärderas i avancerade simulatorer modellerade efter topologier från stadsmiljöer. Resultaten visar att det är möjligt--genom att integrera strukturell koordination, formell logik och generativ modellering--att adressera många av de problem som plågar samtida autonom nätverkshantering. De strategier som erhålls genom dessa metoder är inte bara högpresterande utan även tolkningsbara, säkra och anpassade till de rigorösa krav som finns i nästa generations telekommunikationsinfrastruktur.

Link to DiVA