Till innehåll på sidan
Till KTH:s startsida

Hindra och upptäcka otillåten användning av generativ AI

Genom att anpassa genomförandet av en tentamen kan du hindra användningen av generativ AI och öka sannolikheten för upptäckt. Utforma frågor som generativ AI har svårt att svara på och testa dem med en AI. Begränsa tentamenssituationen med en övervakad tentamen, eller komplettera tentamen eller projektet med muntliga presentationer. Du kan också kombinera dessa åtgärder med detekteringsverktyg, även om sådana verktyg är bristfälliga. Alla metoder kräver att du sätter tydliga gränser för vad som är otillåten användning av generativ AI.

Sätt tydliga gränser för att minska oavsiktlig otillåten användning

Kommunicera till dina studenter vad som är tillåtet och vad som inte är tillåtet när det gäller att använda generativ AI. Dina studenter måste veta vad som är ok och inte, annars är risken stor att de kommer att använda AI på ett sätt som inte är ok utan att förstå det. De flesta studenter vill göra det rätta, du som lärare måste hjälpa dem genom att informera dem.

Bestäm ditt tillvägagångssätt för generativ AI och vad du anser vara otillåten användning och kommunicera det, till exempel genom att visa ett exempel. Generellt är det inte en bra idé att sätta en procentuell gräns för hur mycket AI-genererad text eller kod som är tillåten. Istället kan det vara bra att diskutera i vilket skede av arbetsprocessen som användning är tillåten och inte.

Skapa tentor som är mindre känsliga för generativ AI

Det är möjligt att skapa tentor som är mindre känsliga för generativ AI. Det viktigaste är att inte enbart basera sin bedömning på studenternas slutprodukt (till exempel en uppsats eller programkod) eftersom den är sårbar för utomstående hjälp. Om hela eller delar av produkten har producerats av en utomstående, till exempel en person eller en AI, bryts kopplingen mellan process och produkt. Produkten är då inte resultatet av studentens inlärningsprocess, och det som bedöms är inte relaterat till studentens kunskaper.

Du kan minimera risken för påverkan utifrån genom att anpassa innehållet i tentan eller tentamiljön. Dessa metoder gör tentor mindre känsliga för generativt AI-fusk och presenteras mer i detalj nedan. För mindre sårbara provmetoder, läs mer om hur man Förebygger och motverkar otillåten användning av generativ AI .

Anpassa dina frågor och instruktioner

Det finns flera olika tentamensformer som är mindre sårbara för fusk än till exempel skriftliga hemtentor eller oövervakade datortentor. Du kan läsa mer om dessa på sidan Förebygga och motverka otillåten användning av generativ AI .

Det är dock inte alltid möjligt att ändra examinationsformen, men det kan vara möjligt att anpassa formuleringen - hur du ställer frågor. Nedan följer några tips på hur du kan anpassa dina frågor. Dessa är viktiga för skriftliga oövervakade tentor, men användbara även för andra typer.

  • Skapa frågor med svar som baseras på, eller tillämpas på, lokala, specifika sammanhang, till exempel information som är specifik för din kurs. För att besvara dessa typer av frågor krävs kunskap som inte är tillgänglig för utomstående, till exempel en AI.
  • Skapa tentafrågor som kräver att studenterna reflekterar eller resonerar kring till exempel en del av kurslitteraturen. En AI kan inte enkelt svara eftersom den inte har all information som krävs.
  • Undvik att använda frågor där svaret enkelt kan hittas på internet, till exempel rena faktafrågor.
  • Be dina studenter att förklara ett samband eller en koppling, till exempel. "Om du ändrar variabel x, vad händer då med variabel y?". Detta kräver att studenterna förklarar och motiverar sitt svar med hjälp av kunskap som inte är lättillgänglig för en AI.

Testa dina frågor med AI

När du har skapat en uppsättning frågor eller ett quiz - prova att använda ChatGPT eller en annan generativ AI och be den att lösa problemen eller svara på frågorna. Om svaren är användbara för en student som försöker fuska, vet du att din tenta är sårbar för fusk med AI-verktyg. För att förhindra detta kan du antingen ändra frågeformuleringen eller anpassa den miljö där du genomför tentan.

Anpassa tentamen och omständigheterna

Det finns flera sätt att hindra otillåten hjälp från en generativ AI när man genomför en tenta. Du kan kontrollera omständigheterna och öka övervakningsnivån, komplettera tentamen med en muntlig presentation eller använda kontinuerlig bedömning för pågående processer. Detta kommer både att hindra användningen av generativ AI och öka sannolikheten för upptäckt.

Kontrollera omständigheterna för tentamen

Det vanligaste sättet att kontrollera omständigheterna är att genomföra en övervakad tentamen. Detta kan göras med hjälp av övervakningsprogramvara för examinationer som KTH Digicertus Exam eller genom att ha en examineringsövervakare närvarande under en skriftlig tentamen. Övervakningsnivån är hög under en övervakad tentamen, vilket kommer att hindra studenter från att använda generativ AI. Att öka övervakningen är dock inte det enda sättet, det finns flera andra typer av examinationsformer som är mindre sårbara för generativ AI.

Komplettera tentan muntligt

Istället för att ha tentor under övervakning kan du komplettera den aktuella tentan med en muntlig presentation. Till exempel kan du komplettera en skriftlig hemtentamen med muntliga presentationer av 1-2 slumpmässigt utvalda frågor. Studenterna måste vara förberedda på att presentera alla frågor och du kommer snabbt att märka om det finns avvikelser mellan deras skriftliga och muntliga svar. Det kommer inte heller att vara lika tidskrävande som att låta studenterna muntligt presentera alla tentamensfrågor.

Kontinuerlig bedömning av en pågående process

Be dina studenter skicka in flera utkast så att du kan följa deras process. Kontinuerlig bedömning av framstegen gör det lättare att upptäcka otillåten hjälp med hjälp av generativ AI. Detta tillvägagångssätt kan kombineras med korta muntliga rapporter, där studenterna förklarar vad de gör och vad de har problem med.

Några ord om detekteringssverktyg

Ända sedan generativ AI blev allmänt tillgänglig har lärare efterfrågat metoder för att upptäcka AI-genererat material. Idag finns det många verktyg tillgängliga online med syftet att upptäcka om en text eller kod är AI-genererad. Inget av dessa verktyg är dock 100 % korrekt, vilket leder till både falskt positiva och falskt negativa analyser. Att använda detekteringsverktyg kan därför inte vara det enda sättet att hindra den förbjudna användningen av generativ AI. Att tro att ett detekteringsverktyg kan lösa alla problem är problematiskt och kommer förmodligen aldrig att bli sant. Generativ AI-teknik utvecklas snabbt och detekteringsverktyg som "fungerar" idag kanske inte gör det inom en månad efter att detta skrivits.

Hur detekteringsverktyg fungerar

Generativa AI-applikationer är ofta så kallade sannolikhetsbaserade textmodeller. Det innebär att den genererade texten beror på sannolikheten för att ett ord följer på det föregående och så vidare. De flesta människor skriver inte text baserat på sannolikhet, så det kommer att finnas en skillnad i den producerade texten. Denna skillnad är grunden för hur de flesta detekteringsverktyg fungerar. Det finns flera problem med detta. För det första är det inte alltid en stor skillnad, och kortare texter är svårare att analysera. Det finns också flera olika sätt att kringgå och lura detekteringsverktygen. Dessutom kommer sannolikheten för vissa ord att förändras i takt med att algoritmerna förbättras kontinuerligt.

Vad ska man göra om man misstänker otillåten användning av AI?

Det finns två typer av åtgärder att överväga, pedagogiska och disciplinära. Pedagogiskt kan du hantera misstänkt användning av AI som vilket annat misstänkt fall av fusk som helst. Låt studenten genomföra en kompletterande examination muntligt eller i en kontrollerad miljö. För att rapportera disciplinära åtgärder, mejla kontaktpersonen för studentdisciplinära frågor på din skola .

Vidare läsning