Till innehåll på sidan
Till KTH:s startsida

Hindra och upptäcka otillåten användning av generativ AI

Genom att anpassa genomförandet av en tentamen kan du hindra användningen av generativ AI och öka sannolikheten för upptäckt. Utforma frågor som generativ AI har svårt att svara på och testa dem med en AI. Begränsa tentamenssituationen med en övervakad tentamen, eller komplettera tentamen eller projektet med muntliga presentationer. Du kan också kombinera dessa åtgärder med detekteringsverktyg, även om sådana verktyg är bristfälliga. Alla metoder kräver att du sätter tydliga gränser för vad som är otillåten användning av generativ AI.

Sätt tydliga gränser för att minska oavsiktlig otillåten användning

Kommunicera till dina studenter vad som är tillåtet och vad som inte är tillåtet när det gäller att använda generativ AI. Dina studenter måste veta vad som är ok och inte, annars är risken stor att de kommer att använda AI på ett sätt som inte är ok utan att förstå det. De flesta studenter vill göra det rätta, du som lärare måste hjälpa dem genom att informera dem.

För att informera dina studenter kan du göra följande:

  1. Bestäm ditt tillvägagångssätt för generativ AI .
  2. Skapa kursspecific information med KTH:s mallar för kursspecifik information om generativ AI .
  3. Kommunicera informationen till studenterna.

Tips! Generellt sätt är det bättre att diskutera i vilket skede av arbetsprocessen som användning är tillåten och inte, än att sätta en procentuell gräns för hur mycket AI-genererad text eller kod som är tillåten.

Skapa examinationer som är mindre känsliga för generativ AI

Examinationer som är helt baserade på en bedömning av studenternas slutprodukt (till exempel en uppsats eller programkod) är sårbara för utomstående hjälp, till exempel en person eller AI. Om hela eller delar av produkten har producerats av en utomstående bryts kopplingen mellan process och produkt. Produkten är då inte resultatet av studentens inlärningsprocess, och det som bedöms är inte relaterat till studentens kunskaper.

Du kan minimera risken för påverkan utifrån genom att anpassa innehållet i examinationen eller examinationsmiljön. Dessa metoder gör examinationer mindre känsliga för generativt AI-fusk och presenteras mer i detalj nedan. 

Anpassa dina frågor och instruktioner

Det finns flera olika examinationsformer som är mindre sårbara för fusk än till exempel skriftliga hemtentor eller oövervakade datortentor. Det är dock inte alltid möjligt att ändra examinationsformen, men det kan vara möjligt att anpassa formuleringen - hur du ställer frågor. Nedan följer några tips på hur du kan anpassa dina frågor. Dessa är viktiga för skriftliga oövervakade tentor, men användbara även för andra typer.

  • Skapa frågor med svar som baseras på, eller tillämpas på, lokala, specifika sammanhang, till exempel information som är specifik för din kurs. För att besvara dessa typer av frågor krävs kunskap som inte är tillgänglig för utomstående, till exempel en AI.
  • Skapa frågor som kräver att studenterna reflekterar eller resonerar kring till exempel en del av kurslitteraturen. En AI kan inte enkelt svara eftersom den inte har all information som krävs.
  • Undvik att använda frågor där svaret enkelt kan hittas på internet, till exempel rena faktafrågor.
  • Be dina studenter att förklara ett samband eller en koppling, till exempel. "Om du ändrar variabel x, vad händer då med variabel y?". Detta kräver att studenterna förklarar och motiverar sitt svar med hjälp av kunskap som inte är lättillgänglig för en AI.

Testa dina frågor med AI

När du har skapat en uppsättning frågor eller ett quiz - prova att använda ChatGPT eller en annan generativ AI och be den att lösa problemen eller svara på frågorna. Om svaren är användbara för en student som försöker fuska vet du att din examination är sårbar för fusk med AI-verktyg. För att förhindra detta kan du antingen ändra frågeformuleringen eller anpassa den miljö där du genomför examinationen.

Anpassa examinationen och omständigheterna

Det finns flera sätt att hindra otillåten hjälp från en generativ AI när man genomför en examination. Du kan kontrollera omständigheterna och öka övervakningsnivån, komplettera skriftlig examination med en muntlig presentation eller använda kontinuerlig bedömning för pågående processer. Detta kommer både att hindra användningen av generativ AI och öka sannolikheten för upptäckt.

Kontrollera omständigheterna för examinationen

Det vanligaste sättet att kontrollera omständigheterna är att genomföra en övervakad examination. Detta kan göras med hjälp av övervakningsprogramvara för examinationer som KTH Digicertus Exam eller genom att ha en examineringsövervakare närvarande under en skriftlig tentamen. Övervakningsnivån är hög under en övervakad tentamen, vilket kommer att hindra studenter från att använda generativ AI. Att öka övervakningen är dock inte det enda sättet, det finns flera andra typer av examinationsformer som är mindre sårbara för generativ AI.

Komplettera examinationen muntligt

Istället för att ha tentor under övervakning kan du komplettera den aktuella examinationen med en muntlig presentation. Till exempel kan du komplettera en skriftlig hemtentamen med muntliga presentationer av 1-2 slumpmässigt utvalda frågor. Studenterna måste vara förberedda på att presentera alla frågor och du kommer snabbt att märka om det finns avvikelser mellan deras skriftliga och muntliga svar. Det kommer inte heller att vara lika tidskrävande som att låta studenterna muntligt presentera alla examinationsfrågor.

Kontinuerlig bedömning av en pågående process

Be dina studenter skicka in flera utkast så att du kan följa deras process. Kontinuerlig bedömning av framstegen gör det lättare att upptäcka otillåten hjälp med hjälp av generativ AI. Detta tillvägagångssätt kan kombineras med korta muntliga rapporter, där studenterna förklarar vad de gör och vad de har problem med.

Några ord om detekteringssverktyg

Ända sedan generativ AI blev allmänt tillgänglig har lärare efterfrågat metoder för att upptäcka AI-genererat material. Idag finns det många verktyg tillgängliga online med syftet att upptäcka om en text eller kod är AI-genererad. Inget av dessa verktyg är dock 100 % korrekt, vilket leder till både falskt positiva och falskt negativa analyser. Att använda detekteringsverktyg kan därför inte vara det enda sättet att hindra den förbjudna användningen av generativ AI. Att tro att ett detekteringsverktyg kan lösa alla problem är problematiskt och kommer förmodligen aldrig att bli sant. Generativ AI-teknik utvecklas snabbt och detekteringsverktyg som "fungerar" idag kanske inte gör det inom en månad efter att detta skrivits.

Hur detekteringsverktyg fungerar

Generativa AI-applikationer är ofta så kallade sannolikhetsbaserade textmodeller. Det innebär att den genererade texten beror på sannolikheten för att ett ord följer på det föregående och så vidare. De flesta människor skriver inte text baserat på sannolikhet, så det kommer att finnas en skillnad i den producerade texten. Denna skillnad är grunden för hur de flesta detekteringsverktyg fungerar. Det finns flera problem med detta. För det första är det inte alltid en stor skillnad, och kortare texter är svårare att analysera. Det finns också flera olika sätt att kringgå och lura detekteringsverktygen. Dessutom kommer sannolikheten för vissa ord att förändras i takt med att algoritmerna förbättras kontinuerligt.

Vad ska man göra om man misstänker otillåten användning av AI?

Det finns två typer av åtgärder att överväga, pedagogiska och disciplinära. Pedagogiskt kan du hantera misstänkt användning av AI som vilket annat misstänkt fall av fusk som helst. Låt studenten genomföra en kompletterande examination muntligt eller i en kontrollerad miljö. För att rapportera disciplinära åtgärder, mejla kontaktpersonen för studentdisciplinära frågor på din skola .

Vidare läsning