Informing Machines about Human Mental States via EEG Decoding

QC 20260416

Abstract

Hjärnaktivitet utgör en rik informationskälla som kan ge interaktiva intelligenta system insikt i mänskliga intentioner och hur omgivningen uppfattas. Bland icke-invasiva tekniker är elektroencefalografi (EEG) särskilt lämpad för interaktiva tillämpningar tack vare portabilitet, relativt låg kostnad och realtidskapacitet. Framsteg inom artificiell intelligens har möjliggjort avkodningsmodeller som kan extrahera komplexa mönster från EEG-signaler och därigenom avslöja kognitiv information. Samtidigt medför EEG-signalens inneboende egenskaper, såsom låg signal-till-brus-kvot, låg spatial upplösning och hög variabilitet, betydande avkodningsutmaningar. Dessa begränsningar förvärras när avkodningsmålen är högdimensionella, exempelvis naturliga bilder. Dessutom är befintlig forskning i hög grad inriktad på väletablerade, tydligt separerbara experimentella förhållanden, medan nyanserade scenarier ofta förblir outredda.I denna avhandling går vi bortom konventionella EEG-tillämpningar genom att undersöka situationer där avkodningsmålen är högdimensionella och/eller framkallas av mer subtila betingelser. Vi utvärderar möjligheten till avkodning i dessa krävande scenarier och föreslår metoder som utnyttjar förtränade stimulusmodeller.Vi analyserar inledningsvis EEG-avkodningspipelinen och diskuterar hur datans egenskaper och uppgiftskrav påverkar arkitektur- och representationsval. Därefter integrerar vi förtränade stimulusmodeller som priorer för att förutsäga högdimensionella utdata, och föreslår två kompletterande metoder för att anpassa stimulusrepresentationer till EEG-aktivitet. Den första metoden använder EEG-responser som återkoppling i ett slutet system för att styra en förtränad generativ modell mot användarens avsedda mentala bild. Den andra anpassar EEG-representationer till perceptuellt informerade inbäddningsrum från förtränade visionsmodeller, vilket förbättrar återskapandet av uppfattade bilder.För att gå bortom etablerade paradigm undersöker vi även EEG-baserad intentionsavkodning i krävande scenarier för människa–robot-samarbete där samma kroppsdel används. Vidare analyserar vi i vilken utsträckning EEG-signaler innehåller information om luktperception. Slutligen diskuteras metodologiska och utvärderingsrelaterade utmaningar i småskaliga EEG-dataset, inklusive risker för prestandaöverskattning och begränsad generaliserbarhet.

Link to DiVA