Datadriven meritvärdering vid antagning till masterprogram

Utvecklingsprojektet startade 2023 på Skolan för teknikvetenskap (SCI) inom ramen för KTH:s förändringsprogram Framtidens utbildning.

I oktober 2023 slogs SCI-projektet Datadriven masterantagning ihop med VS-projektet Meritvärdering master och samarbete med fler skolor påbörjades. Projektet inkluderar nu nära 30-talet masterprogram med programansvariga (PA) från SCI, EECS och ITM, IT-avdelningen samt centralt och skollokalt VS på berörda skolor. Arbetet fortsätter under 2024.

Bakgrund och problemformulering

Inför masterantagningen på SCI-skolan till HT23 genomfördes ett pilotprojekt under HT22 med det övergripande målet att öka kvalitén i antagningsprocessen samtidigt som arbetsinsatsen för både PA och studieadministration skulle minska. Pilotprojektet lyckades med att uppnå båda dessa mål, samtidigt som ett antal nya idéer för att kunna fortsätta i riktning mot det övergripande målet identifierades.

A) KTH har många internationella sökande till sina mastersprogram. Utvärderingen av dessa sökande tar idag avsevärd tid i anspråk både för KTH:s administration och för programansvariga lärare (PA).

B) Det finns idag inte någon validerad metod för hur studenternas meriter ska bedömas för att utgöra en god indikator på deras möjlighet att klara av studierna på KTH.

Syfte och mål

Detta projekt syftar till att genomföra det återstående arbete som SCI-skolan självt kan genomföra för att driva arbetet vidare. Samarbete med andra skolor och med verksamhetsstödet (VS) har potential att leda till ytterligare förbättringar.

A) Mindre arbete för administration och PA. Följs upp via tidsjämförelser.

B) Bättre bedömning inför den internationella antagningen 2024. Följs upp via statistisk analys av framtagna modeller

Effektmål

A)  Minskad tidsåtgång för både administration och PA genom att använda automatiserad datahantering för att snabbt få fram ett lätthanterligt beslutsstöd samt en preliminär rankning av studenternas meriter.

B) Få fram en träffsäkrare och samtidigt validerad meritvärderingsmodell.

Delleveranser

• 1 oktober 2023: Nytt ”Summary sheet” framtaget, testat och publicerat för alla deltagande program.
• 15 januari 2024: Validerad antagningsmodell klar. Administrativt stöd för att stödja PA klart,
• 25 januari 2024: Excelprogram för att hantera ”Summary sheet” testad och klar. Följs upp kontinuerligt av en intern arbetsgrupp.

Utmaningar

A) Bedömning av de sökandes meriter görs i tre steg:

1. Validering av språkfärdigheter i engelska samt betyg från tidigare studier,
2. Kontroll av meriterna i de ämnen som är väsentliga för den sökta masterutbildningen och
3. Värdering av den sökandes meriter för att få fram en rankinglista.

Alla dessa steg kräver att bedömaren (administratör eller PA) söker fram och öppnar relevanta dokument i antagningssystemet NyA. Med en genomsnittlig handläggningstid på ca 5 minuter per sökande, hinner en handläggare med ungefär 100 sökanden per arbetsdag. Dessutom förekommer en del onödigt dubbelarbete.

B) En pilotstudie på SCI-skolan under förra läsåret visade på att prestationsdata från tidigare års studenter kunde användas för att få fram en träffsäkrare och bättre validerad modell för masterantagningen.

Rotorsaker

A) De sökande fyller oftast i ett ”Summary sheet” där alla deras meriter ingår i samband med att de söker till mastersprogrammet. Ett pilotprojekt som bedrevs på SCI-skolan under förra året, visade att det skulle vara möjligt att i hög grad automatisera hanteringen av ”Summary sheet” för att få fram ett lätthanterligt beslutsunderlag.

B) Användning av data från ett större antal tidigare studenter på KTH än vad som var fallet i pilotstudien, förväntas kunna ge underlag för en ännu bättre validering av antagningsmodellen.

Förbättringsförslag

Lösningen har testats av 27 program (även från CBH), men är ännu inte systematiskt utvärderad. Både mål A och mål B ser dock ut att vara i huvudsak vara uppfyllda.. Det finns tre olika grader av förbättringsförslag:

1. Kopplingen särskild behörighet i programplanen och visning i PA-vyn behöver tänkas igenom hos deltagande program.
2. Bättre förståelse för hur PA arbetar med PA-vyn kommer att minska PA:s tidsåtgång per ansökan ytterligare.
3. Fick inte fram den mängd data som skulle ha behövts i tid – just nu för få datapunkter för universitet i vissa regioner, vilket har lett till en del befogade farhågor från PA. Processen för att ta fram data behöver effektiviseras.
4. Nästa stora game-changer i utvecklingen är om vi kan förmå UHR att göra om NyA-systemet för hur man tar emot ansökningar. Detta skulle kunna kapa bort det admininistrativa mellansteget mellan Summary sheet och PA samt troligtvis också minska arbetet för VS.

Resultat och lärdomar 

1. Effektivitetsmått: Antal minuter (i medeltal) för att på ett bra sätt bedöma en ansökan. Två PA på SCI har rapporterarat att de är nere på 3 minuter per ansökan. Målet för SCI-skolan inför nästa år är 2 minuter per ansökan.
2. Olika intressenter har olika hög arbetsbelastning vid olika tidpunkter under året. Samordning av större projekt måste ta hänsyn till detta och någon måste ha ansvaret för denna samordning (styrgrupp under Framtidens utbildning?).
3. En viktig del av arbetet handlar om att komma på hur utvecklingsarbetet kan bedrivas effektivt. Måste dock våga testa!
4. För att ta nästa stora utvecklingssteg krävs ett samarbete med UHR (NyA) och andra svenska universitet.
5. Trots en del inledande frustration och hög arbetsbelastning har det varit roligt och givande att ingå i ett projekt tillsammans med admininistrationen.

Nästa steg/uppföljningsplan

• Erfarenheterna behöver samlas ihop och delas inför nästa års antagning. Detta behöver ske på ett tidigt stadium, så att programplaner för HT 25 hinner ändras.
• Vem ska ansvara för uppföljningen i detta projekt?
• Skulle vara bra om det görs av någon som inte har varit inblandad om vi vill gå vidare gentemot UHR.