Addressing Shortcomings of Explainable Machine Learning Methods
Tid: To 2025-02-13 kl 13.00
Plats: Ka-Sal B (Peter Weisglass), Kistagången 16, Electrum, Kista
Videolänk: https://kth-se.zoom.us/j/66054420196
Språk: Engelska
Ämnesområde: Informations- och kommunikationsteknik
Respondent: Amr Alkhatib , Programvaruteknik och datorsystem, SCS
Opponent: Professor Kary Främling, Umeå universitet, Umeå, Sverige
Handledare: Professor Henrik Boström, Programvaruteknik och datorsystem, SCS
QC 20250116
Abstract
Nyligen har maskininlärningsalgoritmer uppnått högsta prestanda för till-ämpningar inom olika områden, men sådana algoritmer tenderar att generera modeller som är svåra att tolka. Användare kräver dock ofta en förståelse för resonemanget bakom modellens förutsägelser för att kunna lita på dessa och använda dem för beslutsfattande. Därför har förklarbar maskininlärning fått uppmärksamhet som ett sätt att uppnå transparens samtidigt som prestandan hos algoritmerna bibehålls. Olika metoder har föreslagits för att i efterhand förklara så kallade "svart låda"-modeller. Dessa tekniker är dock begränsade i sin förmåga att ge en utförlig och exakt inblick i hur förutsägelserna går till. Till exempel genererar många förklaringsmetoder baserade på additiv viktighet förklaringar utan att säkerställa att de reflekterar modellens verkliga resonemang. Andra regelbaserade förklaringar kan skapa alltför specifika förklaringar som ibland uppvisar låg tillförlitlighet, det vill säga att de inte är trogna den underliggande "svart låda"-modellen. Dessutom är förklaringsmetoder generellt sett beräkningsmässigt kostsamma, vilket gör deras tillämpning orealistisk i många verkliga situationer.
Vi strävar efter att ta itu med flera viktiga begränsningar hos förklarbara maskininlärningsmetoder, med fokus på (i) låg tillförlitlighet, (ii) avsaknaden av garantier för giltighet, det vill säga förklaringar ges utan en förutbestämd felmarginal, och (iii) höga beräkningskostnader. För det första föreslår vi en metod som sammanfattar lokala förklaringar i en koncis uppsättning karakteristiska regler som kan utvärderas med avseende på deras tillförlitlighet. Vi undersöker också användningen av Venn-prediktion för att kvantifiera osäkerheten i regelbaserade förklaringar. Dessutom föreslår vi att noggrannheten hos de approximativa förklaringarna uppskattas och att felgränser för dessa uppskattningar fastställs med hjälp av ramverket för konform prediktion.
För det andra föreslår vi en metod för att approximera värdebaserade för-klaringstekniker genom att använda beräkningsmässigt effektiva regressionsmodeller och generera felgränser kring de approximativa värdena med hjälp av konform regressionsanalys. Vidare presenterar vi en ny metod för att approximera Shapley-värden i realtid, vilka uppnår hög likhet med de verkliga värdena samtidigt som en begränsad mängd data används. För det tredje föreslår vi en metod som begränsar grafneurala nätverk så att tolkningsbara modeller genereras, vilket sparar tid och resurser som annars skulle krävas för att generera förklaringar i efterhand, samtidigt som hög träffsäkerhet bibehålls. Vi utvidgar också tillämpningen av grafneurala nätverk till att hantera heterogena tabulära data. Slutligen presenterar vi en metod som lär sig en funktion för att beräkna Shapley-värden, från vilka förutsägelserna direkt erhålls genom summering, vilket innebär att metoden kan beräkna Shapley-värden i förväg.
Empiriska undersökningar av de föreslagna metoderna tyder på att pålitlighet hos approximativa förklaringar kan variera beroende på "svart låda"-modellen, datamängden och förklaringsmetoden. Ramverket för konform prediktion ger en tillförlitlig kontroll av felmarginalen när förklaringar krävs inom en snäv tidsram. Begränsningen av grafneurala nätverk till att generera förklarbara modeller leder inte nödvändigtvis till att den prediktiva prestandan försämras och dessutom kan tiden och resurserna som krävs för att generera förklaringar i efterhand minskas.