Deep Learning-based State and Parameter Estimation in Nonlinear Dynamical Systems

QC 20251106

Abstract

Tillståndsestimering och parameterestimering är nära besläktade uppgifter som ofta behandlas gemensamt av forskare inom signalbehandling, reglerteknik och systemidentifiering. I den aktuella litteraturen blir det allt vanligare att använda metoder från maskininlärning och djupinlärning för att angripa dessa problem. Denna avhandling följer samma inriktning och fokuserar huvudsakligen på att utveckla djupinlärningsbaserade metoder för tillståndsestimering och parameterestimering under modelleringsbegränsningar.

Avhandlingens första huvudbidrag gäller djupinlärningsbaserade angreppssätt för Bayesiansk tillståndsestimering i en modellfri situation.  Vi introducerar DANSE (Data-driven Nonlinear State Estimation) där den underliggande dynamiska modellen är okänd. Kärnan i DANSE-metoden är att direkt modellera en a-priori sannolikhetsfördelning för tillståndsvariablerna med hjälp av återkommande neurala nätverk. Vi antar kännedom om mätmodellen, vilken antas vara linjär, additiv och brusig. Detta antagande ger flera fördelar vid Bayesiansk tillståndsestimering. För det första möjliggör det att DANSE kan ge en sluten form för tillståndsvariablernas a-posteriori sannolikhetsfördelning. För det andra kan DANSE tränas oövervakat, så länge de brusiga mätningarna innehåller tillräcklig information om det okända tillståndet (till exempel när mätmodellen har full rang eller är överbestämd). Vid underbestämda mätningar blir tillståndsestimeringsproblemet mer utmanande. För att hantera detta utvidgar vi den befintliga oövervakade inlärningsmetoden genom att använda en begränsad mängd annoterad träningsdata. Denna förändring resulterar i en semiövervakad metod, benämnd SemiDANSE. Slutligen lånar vi idéer från partikelfilter och viktningsmetoder för att hantera olinjära och brusiga mätningar. Detta leder till en partikelbaserad variant av DANSE, pDANSE. pDANSE approximerar den okända a-posteriori sannolikhetsfördelningen genom att beskriva den med hjälp av väntevärde och varians, utan krav på djupare kännedom om den underliggande dynamiska modellen. I våra experiment använder vi olinjära dynamiska system, såsom kaotiska attraktorer, vilka ofta används som referenssystem för att utvärdera tillståndsestimeringsprestanda. Vi jämför de empiriska resultaten för DANSE samt dess varianter SemiDANSE och pDANSE med klassiska, modellbaserade metoder, till exempel Extended Kalman Filter (EKF), Unscented Kalman Filter (UKF) och Particle Filter (PF), samt med rena datadrivna metoder och nya hybrida angreppssätt såsom KalmanNet. 

Avhandlingens andra huvudbidrag rör djupinlärningsbaserad parameterestimering. Klassiska parameterestimeringsmetoder präglas ofta av beräkningsintensiv inferens och av ett starkt beroende av parameterinitialisering. För att hantera dessa utmaningar introducerar vi DeepBayes, en metod för att konstruera en skattare med hjälp av återkommande neurala nätverk. För att träna dessa nätverk används en simulerbar modell för att generera stora mängder annoterad syntetisk  data för offline träning, där parametrarna dragits från en icke-informativ likformig a-priori-fördelning. Resultatet är att DeepBayes, när modellen väl är offline-tränad, kan erbjuda snabb inferens utan särskilda krav på initialisering. Vi visar dessutom empiriskt att DeepBayes kan uppnå jämförbar prestanda i parameterestimering med både den Bayesianska skattaren, som är optimal med avseende på medelkvadratfelet, och relevanta maximum likelihood-baserade skattare på välkända referenssystem för olinjära dynamiska system.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-372376