Generativ AI – hur påverkas du som lärare?
När tjänsten ChatGPT lanserades i november 2022 blev generativ AI-teknik tillgänglig för allmänheten. Detta blev starten på ett paradigmskifte som kommer påverka oss som lärosäte, statlig myndighet och forskningscentrum under lång tid framöver. Men vad är egentligen generativ AI-teknik? Vilka möjligheter och utmaningar kommer med denna nya teknik och hur kan vi på KTH dra nytta av detta paradigmskifte?
Vad är generativ AI-teknik?
Det finns idag en mängd olika generativa AI-verktyg tillgängliga på internet som kan skapa material efter användarens önskemål, som text, bilder, video eller kod. Till exempel ChatGPT, Whisper, GitHub Copilot och DALL.E 2. Men vad är generativ AI-teknik egentligen?
Generativ AI-teknik är baserade på så kallade sannolikhetsbaserade maskininlärningsmodeller. Dessa system har alltså ingen egentlig kunskap, utan de förutsäger exempelvis vad det nästa textstycket bör innehålla utifrån de uppmaningar de får och statistisk modellering av stora datamängder. Utvecklarna är öppna med att deras träningsdata innehåller en hel del “bias” i och med att en stor del av texterna är skrivna i västvärlden och på engelska. Detta påverkar också det material som skapas.
Inte första gången som ny teknik rör om i grytan
Tekniska landvinningar inom informationssökning och beräkningar är inte något nytt; under de senaste decennierna har vi utvecklat system som används systematiskt i högre utbildning. Införande av ny teknik har alltid orsakat diskussion och oro kring hur lärande och bedömning av olika färdigheter kommer att påverkas. Exempel på teknik som tidigare påverkat är miniräknare, Wikipedia med mera. I modern tid har diskussionerna kretsat bland annat kring verktyg som Google Scholar för sökning av relevant forskningspublikation eller Grammarly som stöd i vetenskapligt skrivande. Observera att trots denna oro uppmuntras nu användande av Grammarly i KTH:s språkkurser.
Generativ AI-teknik vid examination
Studenter har alltid haft möjlighet att fuska (eventuellt mot betalning) med hjälp från tredje part som inte går kursen. Det nya är att denna hjälp inte behöver komma från en person utan kan vara genererad med AI-teknik, vilket gör den lättillgängligare och billigare. En examination som enbart baseras på bedömningen av en slutprodukt (som en uppsats eller programkod) är sårbar för hjälp från tredje part. Kopplingen mellan process och produkt bryts om hela eller delar av produkten har producerats av en utomstående, till exempel en person eller AI-teknik. Produkten är då inte slutresultatet av studentens lärandeprocess och det som då bedöms är inte relaterat till studentens lärande. Se nedan för exempel på vad som kan göras för att minska examinationens sårbarhet för tredjepartshjälp.
Hänger lagstiftningen med?
Diskussionen pågår om hur generativ AI-teknik påverkas av GDPR och upphovsrätten. Det är dock känt att användningen av ChatGPT och annan generativ AI-teknik kan orsaka problem gällande denna typ av lagstiftning. I skrivande stund (april 2023) så pågår arbete i EU kring lagstiftning om AI, bland annat för att ställa krav på ökad öppenhet kring hur data används.
Nya möjligheter
Generativ AI i allmänhet och appen OpenUni i synnerhet kan vara till stor hjälp för studenter. Ett exempel är skapa ett verktyg för anteckningsstöd vid lektioner eller för att sammanfatta en inspelad lektion. Detta kan hjälpa alla studenter, men speciellt för studenter med exempelvis dyslexi eller koncentrationssvårigheter. Verktyg av denna typ kan möjligen ersätta några av de specialanpassningar som krävs i nuläget för en del studenter med rätt till Funka-stöd.
Vi frågade ChatGPT om hur universiteten bör agera gällande generativ AI och fick då (april 2023) svaret:
“Technical universities are likely to encourage students to use AI in their studies, as it is a valuable tool for solving complex problems and developing new technologies. Students who use AI in their studies may be required to follow certain guidelines or best practices to ensure that their work is ethical, transparent, and reproducible. In some cases, universities may offer courses or workshops to help students learn how to use AI effectively and responsibly. Ultimately, the goal is to help students develop the skills and knowledge they need to succeed in their chosen field, while also ensuring that they are using AI in a responsible and ethical manner.”
Förhållningssätt till generativ AI-teknik och examination
Till att börja med så vill vi hänvisa er till kursplanernas etiska förhållningssätt “Vid examination ska varje student ärligt redovisa hjälp som erhållits och källor som använts.“ Påminn dina studenter om detta och för en öppen diskussion med dem om dessa frågor.
Övervakad skriftlig salstentamen är inte det enda sättet att motverka fusk och vilseledande med AI-verktyg under examination. KTH förespråkar mångfald i examinationsformer och det finns ett antal olika sådana som inte är mer sårbara för fusk med hjälp av AI-verktyg än skriftlig salstentamen. Några exempel är muntlig examination, examination i seminarieform med problemlösning vid tavlan, och övervakad digital examination i datorsal med hjälp av SEB (Safe Exam Browser). Samtliga dessa examinationsformer kan med fördel användas i kontinuerlig examination under kursens gång, snarare än som en omfattande slutexamination.
Vidare finns det examinationsformer som förhindrar och försvårar fusk med AI-verktyg, utöver övervakad examination. Muntlig examination kan användas på många sätt. Ett användningssätt är som en kontroll av att studenten kan förklara en tidigare inlämnad lösning eller sin process. Stegvis examination, där flera steg i lösnings- eller utvecklingsprocessen fångas upp, gör det svårare att fuska med AI-verktyg. Vid formulering av hemuppgifter kan det vara bra att ställa krav på att referenser ska anges. Om frågorna ställs så att svaren behöver baseras på eller bero på specifika lokala kontexter kan det också bli svårare att fuska med AI-verktyg.
Tre områden har identifierats där examinationen kan vara en utmaning eller kräva extra eftertanke med avseende på generativ AI: examensarbeten, programmeringsuppgifter och oövervakad distansexamination.
Exempel 1: Examensarbeten
Det är nu ännu viktigare än tidigare att observera processen. Handledaren behöver ha regelbundna handledningssamtal och avstämningspunkter med studenten. Muntlig presentation och muntlig opposition är viktigt för att examinatorn ska kunna bedöma att lärandemålen uppnåtts. Generativa AI-verktyg som ChatGPT kan användas i skrivprocessen, men det är viktigt att det anges i rapporten och att det tydligt framgår på vilket sätt dessa verktyg har bidragit till slutresultatet.
Exempel 2: Programmeringsuppgifter
I alla kurser ska studenter som använder AI-verktyg för att generera kod för en programmeringsuppgift redovisa detta på samma sätt som den som fått hjälp av en handledare eller från en källa på webben (enligt etiskt förhållningssätt i kursplanen).
I en grundläggande programmeringskurs kan det vara förbjudet att använda AI-verktyg för att generera kod för examinerande uppgifter. Däremot kan det vara tillåtet att använda AI-verktyg för att förklara felmeddelanden eller generera testfall. I större uppgifter bör flera steg i utvecklingsprocessen bedömas (som specifikation, prototyper i olika stadier och slutlig produkt). Denna bedömning bör helst vara muntlig.
Exempel 3: Oövervakad distansexamination
Denna typ av examination kan vara sårbar för generativ AI-teknik om den saknar någon form av uppföljande övervakad kunskapskontroll. Examinationsformen och uppgifterna kan utformas så att oetisk användning av AI-verktyg försvåras. Detta kan exempelvis ske genom att studenterna ska tillämpa information som enbart finns i ett kursspecifikt sammanhang eller att de får förklara sina lösningar i efterhand.
Avslutande ord
Syftet med att lära sig är att rusta sig för sin egen framtid. Oro för fusk och vilseledande vid examination kan ibland upplevas som att vi anklagar våra yngre kollegor (studenter) för att inte ta processen och sin egen utveckling på allvar. På KTH ska lärare och studenter arbeta tillsammans för att skapa en kultur som sätter lärandet främst och där fusk och vilseledande inte upplevs som ett alternativ.
Fördjupningsresurser
Backer et al. (2023). Programming Is Hard - Or at Least It Used to Be: Educational Opportunities and Challenges of AI Code Generation . Proceedings SIGCSE 2023, ACM.
KTH:s information om disciplinärenden .
PriU-gruppen bedömnings- och examinationsmetoder (2023). Att främja lärande och förebygga fusk . Rapport publicerad 2023-03-31.
Rudolph, J., Tan, S., & Tan, S. (2023). ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? . Journal of Applied Learning and Teaching, 6(1).