Hur gissningar påverkar gränsen för godkänt

Sannolikheten att gissa sig till godkänt

Anta att du har ett quiz med 20 frågor i formen av "flera svarsalternativ" (multiple choice) med ett korrekt svarsalternativ. Sannolikheten att studenter gissar rätt på en fråga beror på antalet svarsalternativ, men vad är sannolikheten för att de gissar rätt på flera frågor?

För att besvara frågan utgår vi från Foley, Brett P. (2019) "Getting Lucky: How Guessing Threatens the Validity of Performance Classifications". Speciellt beräkningarna i Appendix A, om vad sannolikheten är att en student uppnår ett visst antal rätta svar på ett quiz genom att bara gissa. Sannolikheterna för frågor med två, tre, fyra och fem svarsalternativ listas i Tabell 1 och visas även i Diagram 1.

Obs! Vi har antagit att alla svarsalternativ är lika troliga. Det vill säga, de felaktiga svarsalternativen är troliga och formulerade liknande som det korrekta svarsalternativet. Läs mer om att Formulera frågor och svarsalternativ .

En student är nästan garanterad att gissa rätt på en eller två frågor oavsett antalet svarsalternativ, men sannolikheten sjunker snabbare ju fler svarsalternativ per fråga. För fyra och fem svarsalternativ är det väldigt låg sannolikhet att någon gissar korrekt på fler än 8 eller 9 frågor. För tre svarsalternativ är det närmare 11 och med bara två svarsalternativ är det runt 15 frågor.

Att tänka på när du sätter omdömesgränserna

Risken är aldrig noll för att en student gissar alla rätt på ett quiz, men den blir försvinnande liten vid längre quiz. Brett P Foley använder sig av 5% sannolikhet som den minimala gränsen för godkänt, men föreslår även gränserna 10% eller 1% beroende på vikten av quizet. Den minimala gränsen är dock bara ett minimumvärde att hålla sig ovanför, det är inte den rekommenderade gränsen för godkänt. Information om hur du kan justera gränsen för godkänt hittar du sist på sidan.

I det tidigare exemplet använde vi oss av ett quiz med 20 frågor, men ett quiz med få frågor gör att omdömesskalan blir väldigt smal. Till exempel, om du använder dig av tre svarsalternativ skulle varje omdöme på skalan A till E motsvara två frågor var. Studenterna får inget utrymme att göra misstag och du måste skapa ett quiz som reflekterar en så snäv skala. Därför rekommenderar vi att du förlänger quiz med få svarsalternativ eller att du använder en enklare omdömesskala, exempelvis Godkänt/Ej godkänt.  

Som ett exempel på ett långt quiz har vi skapat listor över de minimala gränserna för 1%, 5% och 10% för ett quiz med 100 frågor.

Möjliga problem med modellen

Vi har utgått från vissa antaganden i våra beräkningar som förklaras i detalj i artikeln av Brett P Foley. Det kan dock uppstå problem med modellen när dessa antaganden inte är uppfyllda. Brett P Foley hittar exempelvis dessa problem:

• Studenter kan skippa frågor i stället för att gissa. Om du har höjt omdömesgränserna för att motverka gissningar och inga gissningar sker, så kommer den studenten få svårare att få godkänt.
• Studenter kan ha delkunskap som gör att de kan utesluta svarsalternativ och sen gissa. Till exempel kanske en student inte vet vilket svarsalternativ som är korrekt men vet att ett av dem är garanterat inkorrekt. Då är det större sannolikhet att studenten gissar rätt än modellen säger.

Metoder för att justera gränsen för godkänt

Det finns många artiklar om de olika sätten att justera gränsen för godkänt på quiz. Brett P Foley tar upp följande formel i Appendix D för att räkna ut den justerade gränsen för godkänt (X_adj):

\(X_{adj} = X_{raw} + [P*L*(X_{max} - X_{raw})]\)

X_raw är poängen för den ojusterade gränsen för godkänt.

X_max är högsta poängen man kan få på quizet.

P är sannolikheten att gissa rätt per fråga (baseras på antalet svarsalternativ).

L är sannolikheten att en student gissa på en fråga när de inte kan svaret. Brett P Foley förklarar hur detta kan uppskattas i Appendix D utifrån beräkningar i Appendix C.

Följande artiklar är några andra exempel på sätt att hantera bedömning av quiz när studenter kan gissa sig till rätt svar. Detta är endast ett urval, den intresserade rekommenderas att söka upp fler artiklar.  

• Formula Scoring of Multiple-Choice Tests (Correction for Guessing) (onlinelibrary.wiley.com) .
• Optimal Correction for Guessing in Multiple-Choice Tests (researchgate.net) .

Kontakt och support för Canvas

Har du frågor eller behöver du handledning?

För generell support: it-support@kth.se

För pedagogisk support: e-learning@kth.se

Mer stöd från E-lärande

Kontakter till utbildningsstöd på KTH