Linear-Gaussian Dual Control

QC 20261109

Abstract

Denna avhandling behandlar lärande och beslutsfattande i linjära gaussiska problem inom dual reglering. Ett utmärkande drag hos dual reglering är att den applicerade insignalen inte bara påverkar den aktuella kostnaden, utan även den information som blir tillgänglig för framtida beslut och därmed också framtida kostnader. Valet av insignal innebär därför en inneboende avvägning mellan exploatering, som syftar till god omedelbar prestanda, och utforskning, som förbättrar den information som finns tillgänglig för framtida beslut.

Vi fokuserar på ett linjärt gaussiskt problem där det fysiska tillståndet har eliminerats och endast kunskapstillståndet för en okänd parameter behålls. Trots att modellen är förenklad bevarar den den centrala informationsåterkoppling som ger upphov till den duala effekten. Modellen utgör därför ett användbart referensproblem för att isolera grundläggande frågor inom dual reglering utan de ytterligare komplikationer som orsakas av fysisk tillståndsdynamik eller mer allmänna osäkerhetsstrukturer. Även i denna förenklade miljö är det resulterande problemet inom dynamisk programmering (DP) emellertid icke-trivialt, och exakta lösningar över långa tidshorisonter är i allmänhet svåra att erhålla.

Avhandlingen studerar problemet ur tre kompletterande perspektiv. För det första återbesöker vi begreppen dual effekt och optimalitet för certainty equivalence (CE) på nivån av ett enskilt Bellman-steg. Vi introducerar ett Bellman-baserat begrepp för avsaknad av dual effekt och karakteriserar en icke-trivial klass av kostnad-till-mål-funktioner för vilka den certainty-equivalenta insignalen förblir optimal, trots att kunskapstillståndets övergång beror på insignalen. För det andra utvecklar vi ett diskonterat ramverk över oändlig horisont för linjär-gaussisk dual reglering. Genom att introducera en viktfunktion anpassad till problemet och arbeta i det motsvarande viktade supremumnormrummet etablerar vi kontraktionsegenskaper hos Bellmanoperatorerna, karakteriserar den optimala kostnaden som en unik fixpunkt och erhåller konvergensresultat för DP-algoritmer även när kunskaps- och insignalrummen är obegränsade. För det tredje studerar vi beräkningsmässigt hanterbara strategier för dual reglering. Ur ett Bayesianskt perspektiv används lösningar för korta tidshorisonter för att konstruera approximationer med receding horizon och cyclic horizon för längre tidshorisonter. Ur ett frekventistiskt perspektiv studerar vi perturberade CE-strategier och karakteriserar strukturerade utforskningsstrategier genom minimering av förväntad regret.

Sammantaget ger dessa resultat strukturella, teoretiska och algoritmiska insikter i linjär-gaussisk dual reglering och etablerar ett ramverk för att studera hur informationsinhämtning påverkar sekventiellt beslutsfattande.

Link to DiVA