Olfaction Through the Lens of Representational Alignment

Abstract

Människans luktperception uppstår genom komplexa samspel mellan luktämnens kemiska egenskaper, neural bearbetning och individuella erfarenheter. Att förstå hur dessa olika informationsnivåer förhåller sig till varandra är fortfarande en grundläggande utmaning. De senaste framstegen inom maskininlärning har introducerat modeller som lär sig representationer från stora mängder kemiska och språkliga data, vilket väcker frågan om dessa representationer fångar information som är relevant för människans luktsinne utan explicit perceptuell handledning. I denna avhandling använder vi representationell överensstämmelse som ett gemensamt ramverk för att undersöka hur molekylära och språkliga representationer förhåller sig till mätningar av mänsklig perception och neural aktivitet. I tre studier utvärderas molekylära transformermodeller och stora språkmodeller mot olika former av mätningar av människans luktsinne, däribland kategoriska etiketter, kontinuerliga skattningar, likhetsbedömningar och responser uppmätta med funktionell magnetresonanstomografi (fMRI). Resultaten visar att förtränade molekylära representationer innehåller information som är relevant för både mänskliga perceptuella bedömningar och neurala responser. Stora språkmodeller uppvisar också betydande överensstämmelse med mänskliga luktbedömningar och överträffar ibland molekylära modeller, även om deras relativa prestanda beror på uppgiften och hur indata representeras. De neurala analyserna belyser ytterligare skillnader i den olfaktoriska information som fångas av förtränade representationer. I en kompletterande studie undersöker vi robustheten hos djupinlärningsmetoder för analys av elektroencefalografi (EEG) när data utsätts för störningar, och visar att förbättrad signalrekonstruktion inte nödvändigtvis leder till bättre klassificering i efterföljande uppgifter. Sammantaget visar dessa studier att förtränade modeller för allmänna ändamål fångar information som är relevant för flera aspekter av människans luktsinne, samtidigt som de belyser hur den uppmätta överensstämmelsen beror på representationerna, responstyperna och utvärderingskriterierna. Denna avhandling bidrar till förståelsen av relationerna mellan kemiska, språkliga, perceptuella och neurala representationer och lägger en grund för fortsatta undersökningar av människans luktbearbetning med hjälp av förtränade modeller.

Link to DiVA