Till innehåll på sidan

Sequential Data Learning, Scalable Models and Adversarial Regularization

Tid: Må 2023-06-05 kl 14.00

Plats: E32, Osquars backe 2

Videolänk: https://kth-se.zoom.us/j/62129883050

Språk: Engelska

Respondent: Jin Huang , Teknisk informationsvetenskap

Opponent: Professor Geyong Min, University of Exeter

Handledare: Ming Xiao, Teknisk informationsvetenskap

Exportera till kalender

QC 20230512

Abstract

Time Series Prediction (TSP) har använts i mobilnätverkstrafikdataanalys för att producera prediktiva resultat för nätverksplanering och resursallokering. I den första delen av denna avhandling föreslår vi en ny metod för att förutsäga mobilnätverkstrafik med hjälp av neurala nätverk baserat på villkorad sannolikhetsmodellering mellan intilliggande datafönster i tidsseriesekvensen. För det första utvecklar vi en förbearbetningsmetod för att aggregera rå trafikloggdata och ta prov på de aggregerade tidsserierna till angränsande datafönster, som träningsexempel. För det andra använder vi neurala nätverk för att parametrisera den villkorliga sannolikheten mellan intilliggande datafönster och uppskatta sannolikheten genom att träna de neurala nätverken med samplade data. Den uppskattade villkorade sannolikheten används sedan för att sammanställa förutsägelsen. För det tredje visar vi teoretiskt att förutsägelsen baserad på alla historiska data är ekvivalent med förutsägelsen baserad på just tidigare datafönster, givet uppskattningen av villkorlig sannolikhet mellan angränsande datafönster. Vi analyserar också beräkningskomplexiteten och visar att säsongsvariationer kommer att minska beräkningskomplexiteten. I experimentet jämför vi prediktionsprestandan bland modellerna med olika säsongsvariationer, urvalsstorlek och antal dolda lager, och visar att de föreslagna scheman uppnår bättre prediktionsnoggrannhet än toppmoderna.

De Recurrent Neural Networks (RNN) med rikt fördelade interna tillstånd och flexibla icke-linjära övergångsfunktioner, hargradvis gått om de dynamiska Bayesianska nätverken vid modellering av högstrukturerade sekventiella data. Dessa data, som kan komma fråntal och handstil, innehåller ofta komplexa samband mellan de underliggande variationsfaktorerna såsom talareegenskaper och observerade data. Standard-RNN-modellen har mycket begränsad slumpmässighet eller variabilitet i sin struktur, vilket kommer från den betingade sannolikhetsmodellen för output. För att förbättra variabiliteten och prestandan studerar vi de nya latenta variabelmodellerna med nya regulariseringsmetoder. Den andra delen av denna avhandling kommer att presentera olika sätt att använda latenta slumpvariabler på hög nivå i RNN för att modellera variabiliteten i sekventiell data. Vi kommer att utforska möjliga sätt att använda kontradiktoriska metoder för att träna en variationsrik RNN-modell. Genom teoretisk analys visar vi att, i motsats till konkurrerande tillvägagångssätt, har våra system teoretiskt optimum i modellträningen och den symmetriska objektivfunktionen i den kontradiktoriska träningen ger bättre modellträningsstabilitet. Vårt tillvägagångssätt förbättrar också den bakre approximationen i det variationsmässiga slutledningsnätverket genom ett separerat kontradiktoriskt träningssteg. Numeriska resultat simulerade från TIMIT-taldata visar att rekonstruktionsförlust och nedre gräns för bevis konvergerar till samma nivå och kontradiktorisk träningsförlust konvergerar i en stabil kurs. Numeriska resultat visar också att vårt tillvägagångssätt för regularisering ger stabilitet och jämnhet på sannolikhetsfördelningen minimering av avståndsförlust mellan föregående och bakre av de latenta variablerna. Detta är en klar förbättring än den ursprungliga RNN-modellen.

I den sista delen av denna avhandling studerar vi potentiella utmaningar och möjligheter inom intelligent vägtrafikavkänning ur datautvinnings- och inlärningssynpunkt med mobilnätsgenererad data. Denna del av avhandlingen innehåller endast kvalitativ analys. För det första klassificerar vi de tillgängliga dataresurserna i det kommersiella mobilnätet enligt olika taxonomikriterier. Sedan skisserar vi de nedbrutna problemen som passar inom ramen för vägtrafikavkänning baserat på mobilanvändarnätverksloggdata. Vi studerar befintliga databearbetnings- och inlärningsalgoritmer för att extrahera information om vägtrafiktillstånd från en stor mängd mobilnätverksloggdata. Slutligen ger vi förslag på potentiellt framtida arbete för vägtrafikavkänning på data från mobilnät.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-326829