Representation Learning and Parallelization for Machine Learning Applications with Graph, Tabular, and Time-Series Data
Tid: Må 2024-10-21 kl 09.00
Plats: Sal C, Electrum, Kistagången 16
Videolänk: https://kth-se.zoom.us/s/63322131109
Språk: Engelska
Ämnesområde: Datalogi
Respondent: Tianze Wang , Programvaruteknik och datorsystem, SCS
Opponent: Associate Professor Farzaneh Etminani, Halmstad University, Sweden
Handledare: Professor Vladimir Vlassov, Programvaruteknik och datorsystem, SCS; Amir H. Payberah, Programvaruteknik och datorsystem, SCS; Jim Dowling, Hopsworks AB
Abstract
Maskininlärningsmodeller (ML) har nått betydande framgångar i representationsinlärning över domäner som datorseende, språk, grafer och tabelldata. Att konstruera effektiva ML-modeller beror på flera kritiska överväganden. (1) datarepresentation: Hur indata representeras på ett meningsfullt och effektivt; (2) lärandemål: hur önskat förutsägelsemål defineras i en specifik nedströmsuppgift; (3) modellarkitektur: vilken modellarkitektur för representationsinlärning, d.v.s. typen av neurala nätverk, är den mest lämpliga för den givna nedströmsuppgiften; (4) träningsstrategi: hur man effektivt tränar den valda ML-modellen för bättre funktionsextraktion och representationskvalitet.
Denna avhandling utforskar representationsinlärning och parallellisering i maskininlärning, och tar upp hur man kan öka modellnoggrannheten och minska träningstiden. Vår forskning undersöker flera innovativa tillvägagångssätt för att förbättra effektiviteten hos ML på graf-, tabell- och tidsseriedata. Först utforskar vi representationsinlärning i kombinatorisk optimering och integrerar en villkorsprogrammeringsbaserad exakt lösare med den prediktiva ML-modellen för att förbättra problemlösningseffektiviteten. Vi visar att kombinationen av en exakt lösare med en prediktiv modell som uppskattar optimala lösningskostnader minskar sökutrymmet och lösningstiderna avsevärt. För det andra använder vi Transformer-modeller för grafer för att utnyttja topologiska och semantiska nodlikheter i indata, vilket resulterar i överlägsna nodrepresentationer och förbättrad prestanda för nedströms uppgifter. För det tredje studerar vi empiriskt valet av modellarkitektur för att lära av tabelldata. Vi visar upp tillämpningen av tabellformade transformatormodeller på stora datamängder, och avslöjar deras förmåga att skapa funktioner med hög prediktiv kraft. För det fjärde använder vi transformatormodeller för detaljerad modellering av användarbeteende från tidsseriedata, som illustrerar deras effektivitet när det gäller att fånga finkorniga mönster. Slutligen fördjupar vi oss i träningsstrategin och undersöker grafövergångsstrategier för att förbättra enhetsplacering i parallellisering av djupinlärningsmodeller, vilket visar att optimerad genomgångsordning förbättrar parallell träningshastighet. Tillsammans främjar dessa fynd förståelsen och tillämpningen av representationsinlärning och parallellisering i olika MLsammanhang.
Denna avhandling förbättrar representationsinlärning och parallellisering i ML-modeller, och tar upp viktiga utmaningar i representationskvalitet. Våra metoder främjar kombinatorisk optimering, parallell träning och ML på graf-, tabell- och tidsseriedata. Dessutom bidrar våra resultat till att förstå transformatormodeller, vilket leder till mer exakta förutsägelser och förbättrad prestanda över olika domäner.