On learning in mice and machines
continuous population codes in natural and artificial neural networks
Tid: Fr 2023-11-24 kl 13.00
Plats: E1, Lindstedtsvägen 3, Stockholm
Språk: Engelska
Ämnesområde: Bioteknologi Tillämpad matematik och beräkningsmatematik
Respondent: Emil Wärnberg , Beräkningsvetenskap och beräkningsteknik (CST), Department of Neuroscience, Karolinska Institutet, Stockholm, Sweden
Opponent: Professor Mark Humphries, University of Nottingham, School of Psychology, Nottingham, UK
Handledare: Professor Konstantinos Meletis, Department of Neuroscience, Karolinska Institutet, Stockholm, Sweden; Associate professor Arvind Kumar, Beräkningsvetenskap och beräkningsteknik (CST); Professor Gilad Silberberg, Department of Neuroscience, Karolinska Institutet, Stockholm, Sweden
Thesis presented for joint PhD degree between KI and KTH, with KI as home university.
QC 20231101
Abstract
Neurala nätverk, så väl artificiella i en dator som naturliga i en hjärna, skulle kunna representera information antingen som diskreta symboler eller som steglösa vektorrymder. I denna avhandling utforskar jag hur neurala nätverk kan representera steglösa vektorrymder både genom att simulera neurala nätverk och genom att analysera uppmätt neural data från möss. Jag fokuserar i synnerhet på hjärnnätverken i de basala ganglierna och på förstärkningsinlärning, det vill säga inlärning baserad på belöning och bestraffning.
Avhandlingen innefattar fyra forskningsartiklar: två teoretiska med simuleringar (Artikel I och Artikel IV) och två med analys av uppmätt data (Artikel II och Artikel III).
I Artikel I utforskar vi metoder för att implementera steglösa vektorrymder i nätverk med spikande nervceller genom att skapa multidimensionella attraktorer, och lägger fram en förklaring för varför det är svårt att ta sig ur sådana attraktorer.
I Artikel II analyserar vi uppmätt hjärnaktivitet som spelats in från dorsomediala striatum med hjälp av kalciumavbildning (en-foton) i genmodifierade möss med markörer för den direkta, den indirekta respektive den striosoma nervbanan, medan mössen samlade belöningar i ett spel med två val. Likt omfattande tidigare forskning fann vi ett antal neurala signaturer för förstärkningsinlärning, men inga skillnader i signaturerna mellan de tre nervbanorna.
I Artikel III presenterar vi ett nytt mjukvaruverktyg för att följa nervceller genom veckolånga kalciuminspelningar och använder det specifikt till att följa striatala projektionsceller i den striosoma nervbanan under två veckors tid.
I Artikel IV presenterar vi en modell för hur den nigrostriatala dopaminerga nervbanan skulle kunna förmedla en vektorvärd felgradient till dorsomediala striatum på ett biologiskt trovärdigt sätt. En sådan behövs för backpropagering.
Utifrån resultaten i artiklarna och en litteraturöversikt drar jag slutsatsen att basala ganglierna implementerar en förstärkningsinlärningsalgoritm i enlighet med tidigare forskning, men att representationen av tillståndsrymd, handlingar, och policyer byggs upp av en kontinuerlig populationskod och inte av diskreta symboler.