Machine Learning for Semi-Autonomous Cybersecurity Operations

QC 20260216

Abstract

Intrångsdetekteringssystem (IDS) är oumbärliga för att försvara nätverkssystem, men säkerhetsanalytiker blir ofta överväldigade av den stora mängden falska varningar de genererar. Trots många försök att minska falska larm kan även mycket exakta IDS utlösa alltför många varningar på grund av konceptavvikelser, såsom förändringar i normala nätverksbeteenden. Denna flod av varningar presenterar två kritiska utmaningar: bördan av att utreda ett stort antal varningar och osäkerheten kring situationsmedvetenhet när defensiva åtgärder ska väljas. Falska varningar är oundvikliga, därför måste analytiker: i) kontinuerligt uppdatera IDS för att hantera konceptavvikelser, ii) prioritera informativa varningar för att stödja effektiva utredningar, och iii) reagera snabbt på potentiella hot under osäkerhet. Därför förbrukar säkerhetsanalytiker en betydande mängd tid på de tre uppgifterna, vilket belyser behovet av att minska tidsåtgången. 

Artiklarna som ingår i denna avhandling är uppdelade i två delar. Den första delen introducerar ett anomalibaserat intrångsdetekteringssystem med hjälp av en transformer. Varje fält i en logglinje översätts till en token med hjälp av både fältbaserade och globala vokabulärer. För att minska irrelevant brus exkluderas fält som inte är relaterade till attacker från beräkningen av anomalipoäng. Modellen tränas på ett självövervakat (en: self-supervised) sätt genom att maskera tokens och försöka inferera de maskerade fälten. En anomalipoäng beräknas sedan från inferensfelet, och varningar utlöses när poängen överstiger ett fördefinierat tröskelvärde. Våra simuleringar visar att den dubbelriktade transformern med fältbaserad vokabulär överträffar LSTM-baserade jämförelsemetoder. Sedan utforskar vi ett ramverk för intrångsdetektering som integrerar anomalidetektering på flödesnivå, anomalidetektering baserad på flödeskontext och detektering av konceptdrift. En generativ modell kartlägger flöden i det nätverkssystemet till ett latent utrymme anpassat för anomalidetektering och identifierar avvikande beteenden i enskilda logglinjer, vilket utgör grunden för anomalidetektering på flödesnivå. För att fånga systemomfattande kontext korrelerar ett grafiskt neuralt nätverk varje logglinje med andra över tid och värdar, vilket producerar flödeskontextbaserade anomalipoäng. Genom anomalimaskering, där man jämför förutsägelser med och utan misstänkta logglinjer, belyser ramverket signifikanta skillnader när skadlig aktivitet förekommer. Poängen på flödesnivå och flödeskontext kombineras sedan till en slutlig anomalipoäng. I samband med detta kan konceptdrift detekteras av en andra generativ modell, då används två strategier för urval av stickprov för att identifiera logglinjer för undersökning. Detta gör det möjligt för analytiker att uppdatera modellen effektivt och bibehålla detekteringsprestandan över tid. 

Den andra delen av denna avhandling modellerar det nätverksanslutna systemet med hjälp av ett Markov-ramverk för att studera säkerhetsåtgärder under falska varningar. Vi använder först sannolikhetskvottestning för att upptäcka intrång och prioritera varningar som bekräftar angriparens närvaro. Genom att beskära attackgraftillstånd i flera hypoteser och undersöka varningar för att öka sannolikhetskvoterna, uppnår vår metod en snabbare medeltid till detektering. Vi adresserar sedan utmaningen med varningsutredning för förbättrad situationsmedvetenhet genom att föreslå två prioriteringspolicyer som rangordnar varningar vid varje tidpunkt enligt deras informationsvärde. För att göra ramverket praktiskt applicerbart introducerar vi metoder som minskar beräkningskomplexiteten. Simuleringar visar betydande förbättringar i både situationsmedvetenhet och effektivitet. Slutligen undersöker vi automatiserad incidentrespons som kombinerar lågkostnads- och högkostnadsförsvarsåtgärder, inklusive blockering och utkastning. Vi introducerar en decentraliserad metod för att upprätthålla övertygelser som avsevärt minskar kommunikationskostnaden, och omfattande simuleringar visar att denna metod uppnår låg totalkostnad samtidigt som den förblir mycket praktisk. 

Sammantaget ger de djupinlärningsbaserade anomalidetekterings- och Markovmodellbaserade operativa strategierna som utvecklats i denna avhandling praktiskt stöd för säkerhetsanalytiker genom att minska falska varningar, genom att sänka antalet varningar att utreda och genom att möjliggöra ett mer effektivt defensivt beslutsfattande.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-376746