Återkoppling kring lärar-enkät

Enkäten distrubierades under februari 2020 till ca 600 personer på KTH som någon gång sedan 2015 har använt LEQ som kursvärderingsenkät. Svarsfrekvensen ligger på ca 16% med en spridning inom samtliga av KTH:s fem skolor. Enkäten innehöll 10 frågor med blandade svarsalternativ såsom frågor med kryssalternativ blandat med fritext.

• Jag brukar få en låg svarsfrekvens på min LEQ, vad kan jag göra för att öka den?
  • Det är välkänt att de flesta webbaserade enkäter har låg svarsfrekvens. Det finns flera sätt att öka svarsfrekvensen: 
  • I början av kursen nämner du för studenterna under ditt första möte med dem, vad förra årets studenter sa om kursen, och vilka förändringar du har genomfört som ett resultat av detta. Om du inte har gjort några betydande förändringar, visa istället en sammanfattning av svaren på frågan "Vilka råd skulle du ge till nästa års studenter?". Genom att göra detta visar du för studenterna att deras syn på kursen är viktig.
  • Prata med studenterna innan du skickar ut enkäten. Påminn dem om svaren från förra årets studenter (se 1 ovan). Förklara också hur du kommer att använda svaren från enkäten. 
  • Ett annat sätt att öka svarsfrekvensen (men med en nackdel) är att ge studenterna tid att fylla i enkäten under den sista lektionen. Nackdelen gäller påståenden i LEQ som innebär examineringen i kursen (som sannolikt inte är klar innan studieperioden är över). Examineringen kommer därför inte utvärderas korrekt. 
• Finns det någon skillnad i svarsfrekvens mellan de olika versionerna av LEQ (LEQ6, LEQ12 och LEQ22)?
  Ja, det är en liten skillnad. Under 2019 var de genomsnittliga svarsfrekvenserna följande:
  • LEQ6: 26 %
  • LEQ12: 28 %
  • LEQ22: 32 %
    
    Det finns alltså inget som tyder på att en kortare enkät ökar svarsfrekvensen.
• För att öka svarsfrekvensen för enkäten skulle det vara till stor hjälp om det gick att förlänga svarstiden, även efter det att enkäten är skickad.
  Ett bra sätt att öka svarsfrekvensen när enkäten har skickats ut är att övervaka utvecklingen och kanske skicka e-post till studenterna för att påminna dem om vikten av att svara. Att ge tid för slutliga resultat/betyg som ska föras in i Ladok innan enkäten stängs är också ett bra sätt att öka svarsfrekvensen. Vid denna tidpunkt är det inte möjligt att ändra stängningsdatumet. Vi kommer att undersöka saken.
• Kan man ha LEQ som en bedömningsuppgift med bonuspoäng eller liknande för att öka antalet deltagare?
  Om "bedömning av kursen" är en del av kursens avsedda lärandemål är det möjligt (som du i kursbedömningen (dvs. tentor, projektuppgifter, laborationer etc.), ska endast bedöma de avsedda lärandemålen).
  Generellt bör du inte tvinga / muta studenter att ge åsikter om kursen. I värsta fall kommer detta antingen utlösa frustration bland studenter som tvingas bedöma kursen eller "giriga" beteende bland studenter (som bara kommer att fylla i frågeformuläret med en chans att vinna en IPAD eller liknande). Ingen av detta är önskvärt ur en kursutveckling aspekt. Skulle ni lita på uppgifter som erhållits genom sådana åtgärder?
  Du bör föredra åsikter från 10% av de studenter som frivilligt ger sin tid att förbättra kursen snarare än åsikter från 100% av de studenter som antingen tvingas eller mutas att svara på enkäten.
  Det är känt från litteraturen att svarsfrekvensen inte är avgörande för att fånga huvuddragen hos en större studentkår (Borell och Gudmundsson, 2009, Havtun & Hjelm 2019a och b). Att uppnå en hög svarsfrekvens är viktigt, men inte på bekostnad av att få en irrelevant information.
• KTH-studenter blir ganska trötta på att använda dessa hela tiden så de slutar fylla i dem. Har någon hittat ett sätt för att genomföra kursvärderingar utan att "bränna" eleverna?
  Vi undersöker åtgärder som vi planerar att testa i nära framtid.
• Det skulle vara bra att veta vilket svarsalternativ en student ger till ett uttalande där han / hon ger en kommentar.
  Detta ska vara möjligt att se om studenten har lämnat kommentarer till ett specifikt uttalande (finns i slutet av enkäten). Svaren på de öppna frågorna sorteras efter antalet veckotimmar som studenten har spenderat på en kurs.
• Jag skulle vilja se att LEQ blir integrerat i Canvas med möjligheter att göra enkäter innan kursen slutar samt med tillgänglig statistik för studenter.
  Det är möjligt att göra redan. Någon version av LEQ är tillgänglig via Canvas Commons. SCA / LEQ-gruppen stöder och uppmuntrar dock inte detta eftersom studenter är mycket ovilliga att svara på mer än ett enkät under en kurs. Vi föredrar att denna enkät tillhandahålls genom det kvalitetssäkrade systemet vi stöder.
• Gör om frågorna, vi behöver lättförståeliga och jordnära frågor.
  När LEQ utvecklades genomförde vi flera workshops där studenter kontrollerade om anda studenter tolkade påståendena som avsett. Detta ledde till flera revideringar av uttalandena. En annan anledning till att inte ändra uttalandena är möjligheten att jämföra mellan olika kursomgångar, vi är därför ovilliga att ändra uttalandena. Vi är dock glada att få förslag på ändringar eftersom vi ständigt arbetar för att förbättra systemet.
• Det borde finnas ytterligare ett LEQ-alternativ med bara de öppna frågorna.
  Vi överväger detta alternativ. Det kan vara användbart för kurser på forskarnivå såväl som för examensarbete.
• Frågorna presenteras i en konstig ordning i filen som presenteras för oss (ofta verkar en av de öppna frågorna komma i slutet). Skulle vara bra om det var möjligt att fixa.
  Detta verkar vara ett fel. Skicka detta till it-support@kth.se  så undersöker vi det.
• Många studenter ger bra kommentarer men det är inte möjligt att spåra samma studentkommentarer genom enkäten. Det händer att studenterna svarar "Samma som ovan" och då är det omöjligt att veta vad studenten hänvisar till.
  Vi skulle vilja att den här funktionen fanns. Såvitt vi vet kan detta inte implementeras med det system vi använder för LEQ (Survey and Report). Om någon vet om detta är möjligt är vi mer än glada att kunna tillhandahålla den tjänsten till dig.
• Jag har svårt att tolka resultatet och sedan dra slutsatser om förändringar.
  Att tolka LEQ-fotavtrycket kräver kunskap om metoden. Forskning har visat att studenter tenderar att lära sig mer effektivt om kursen erbjuder en gynnsam inlärningsmiljö. Den allmänna idén med LEQ är därför att söka efter indikatorer på detta. Uttalanden 1-6 undersöker kursens meningsfullhet, uttalanden 7-16 undersöker kursens begriplighet och uttalanden 17-22 undersöker kursens hanterbarhet. Du kan läser mer under: Teori, metod och litteratur Om specifika ändringar har gjorts i kursen, t.ex. stora förändringar i undervisningsmetoderna, kan det vara användbart att genomföra en separat bedömning som undersöker dessa förändringar. Du kan också lägga till en fritextfråga i slutet av frågeformuläret, till exempel ”Den här kursrundan introducerade vi peer review av labrapporterna. Tyckte du detta var värdefullt? ”
• I Kommentar Jag har funnit att samtal med studenter ger bättre idéer för kursutveckling än att använda resultaten från ett frågeformulär.
  Att utveckla kurser genom diskussion med studenter är ofta ett mycket fruktbart och effektivt sätt att åstadkomma förändringar i en kurs. Det finns dock några potentiella problem med metoden som en lärare måste vara medveten om och överväga.