Kontinuerlig övervakad kurs som examination
Detta är ett exempel på ett specifikt examinationsupplägg genomfört på KTH. Under sidans sista rubrik beskrivs principer för upplägget som fungerar för andra sorters kurser. I examinationsupplägget löser studenterna ett antal komplicerade uppgifter i en online-träningsmiljö snarlik en eventuell framtida arbetsplats. Studenternas arbete följs kontinuerligt och bedömning utgår från ett helhetsperspektiv där lägre betyg erhålles om läraren hjälper studenten med att dela problemet till mindre bitar.
Kursupplägg
Kursen äger rum i ett påhittat företags IT-infrastruktur. Studenterna ska under kursens gång klara av att genomföra olika angrepp. Kursen har vanligen runt 300 studenter och ett intrångsdetekteringssystem loggar studenternas arbete, ser alla kommandon och paket som skickas. Studenterna ska under kursens gång hämta ut 18 ”flaggor” från företaget som motsvarar olika angrepp som de lär sig genom att testa sig fram. Ett fåtal studenter kan klara det själva men de flesta behöver handledning. Som stöd kan de då vända sig till en bemannad helpdesk där de får ledtrådar.
Bedömning
Bedömningen utgår från att en löst uppgift ger 10 poäng, och att varje ledtråd kostar poäng. Önskar studenten hjälp för 10 poäng erhålls hela lösningen. Utmaningar med bedömningen är att studenterna kan dela ledtrådar med varandra, eller att ledtrådarna finns kvar från föregående år. IT-infrastrukturen byggs om från år till år, men vissa äldre ledtrådar kan ändå hjälpa studenterna.
Motverka fusk
Risken för fusk åtgärdas genom att det påhittade företagets detekteringssystem ser om studenterna går raka vägen till lösningen (vilket är osannolikt) istället för att testa sig fram. De studenter som beter sig som om de har fått en ledtrådar på fel sätt får genomföra en muntlig tentamen där de får redogöra för hur de gått till väga och vilka utmaningar de löst. Detekteringssystemet uppmärksammar även lärare på vad studenter inte gjort, vilket kan vara en varnande signal som ligger till grund för att studenten blir kallad till en muntlig examination. Systemet har visat sig fungera på så sätt att relevanta personer kallas till den kompletterande muntan och studenter brukar i efterhand begära ut ledtrådar för att verkligen förstå moment och inte bli kallade till munta för att de råkat använda en metod de inte riktigt förstått.
Bland studenter som haft lite kontakt med lärare, antingen genom helpdesk eller i diskussionsforumet, (ofta de som presterar på en hög nivå) slumpas även ett antal under kursens gång till en kompletterande munta.
Om en student ändå lyckas fuska och lura detekteringssystemet så borde studenten ha tillräckligt med kunskaper för att minst få godkänt i kursen. Detekteringssystemet reagerar på när en student genomför en för direkt lösning, ett scenario som skulle kräva att någon helt annan än studenten genomför kursen för första gången för att lura systemet. Sannolikheten att studenten har en ersättare för hela kursen bedöms som osannolikt men vid de muntlig examinationstillfällena får studenterna visa legitimation.
Tidsanvändning för examinator, lärare, assistenter
Tid i kursen spenderas främst på förberedelsearbete och att ge individuell feedback via chatt och munta. Kursen inleds med en uppstartande föreläsning men tar sen plats i det påhittade företagets IT-infrastruktur. Under kursens gång ges ett fåtal föreläsningar, främst från gästföreläsare, med fokus på att inspirera och motivera studenterna genom verkliga exempel från arbetslivet.
Framgångsfaktorer som går att applicera i andra kurser
Kursen har en specifik kontext, men här följer några faktorer som kan appliceras i andra kurser.
Vänt på examinationen, utgår från att alla studenter ska få högsta betyg
Istället för att bedömningen studerar hur kunskap sätts ihop från små detaljer till en helhet, där tveksamheter kan uppkomma angående om det är lärarens hjälp som kopplat ihop delarna så utgår bedömningen från ett helhetsperspektiv där läraren istället hjälper studenten att dela upp till mindre bitar.
Studerar vad studenterna inte gjort i lärprocessen men som de rimligen borde
Genom att bedömningen kopplas till arbetet och inte slutprodukten blir det tydligare vilka studenter som verkligen lärt sig kursinnehållet. Det är exempelvis högst osannolikt att två studenter har samma kladdpapper, och det är rimligt att anta att studenten först genomför delar av en lösning i arbetet med att angripa en uppgift.
Kallar de studenter som inte deltagit aktivt i seminarium, diskussionsforum m.m. till munta
Samtliga studenter kommer då att ha haft aktiv kontakt med läraren när kursen avslutats. Studenter som vill undvika munta uppmuntras då till att aktivt delta i kursen.
Examinerar på det sätt som studenterna kommer arbeta med sina kunskaper
Kursen och examinationen upplevs relevant, vilket kan vara motiverande för studenten. Examinationen sker även under så lång tid att det blir svårt för fel person att ha tid för att genomföra examinationen i studentens ställe.