Black-Box Variational Inference
Mixture Models, Efficient Learning, and Applications
Tid: Må 2025-06-02 kl 14.00
Plats: F3 (Flodis), Lindstedtsvägen 26 & 28, Campus
Språk: Engelska
Ämnesområde: Datalogi
Respondent: Alexandra Hotti , Beräkningsvetenskap och beräkningsteknik (CST)
Opponent: Associate Professor Maurizio Filippone, King Abdullah University of Science and Technology, Thuwal, Saudi Arabia
Handledare: Professor Jens Lagergren, Beräkningsvetenskap och beräkningsteknik (CST)
QC 20250521
Abstract
Vi bidrar till Black-Box Variational Inference (BBVI) genom att förbättra dess flexibilitet, skalbarhet och tillämpbarhet för praktiska tillämpningar. I Paper I visar vi att integrationen av mixture-baserade variational-fördelningar i VAEs – med hjälp av adaptiv importance sampling – förbättrar posteriorfördelningens uttrycksfullhet och motverkar modekollaps i tillämpningar såsom bild- och single-cell-analys. Paper II introducerar MISVAE tillsammans med nya ELBO-estimatorer (Some-to-All och Some-to-Some), vilka möjliggör effektiv träning med hundratals mixture-komponenter och ger resultat i framkant på MNIST och Fashion-MNIST. Paper III fokuserar på praktiska tillämpningar genom att presentera Klarna Product Page Datasetet, ett mångsidigt benchmark för nominering av webbelement, där vi uppnår starka resultat genom att benchmarka GNN:er i kombination med GPT-4. Dessutom har datasetet använts i generativa modelleringsuppgifter, vilket underlättar inlärningen av latenta representationer av webbsidor samt genereringen av komplexa webbgränssnitt med hjälp av VAEs. I Paper IV utforskar vi de teoretiska grunderna för BBVI med icke-linjära skalparametriseringar, såsom exponentiella och softplus-transformationer. Vi härleder nya strukturella resultat och gradientvariansgränser och visar att icke-linjära parametriseringar förbättras med stora dataset. Genom dessa bidrag skapar avhandlingen en länk mellan teoretiska framsteg och praktiska tillämpningar. Således lyfter avhandlingen fram hur flexibla och effektiva probabilistiska inferensmetoder kan hantera högdimensionella och strukturerade dataproblem inom både forskning och industri.