Nytt IT-systemstöd för kursvärdering och kursanalys
För att stärka och underlätta arbetet med kursvärdering och kursanalys har KTH beslutat att ta fram ett nytt IT-system med högre grad av automation. Det nya systemet kommer också att ge bättre tillgång till data som stöd för kvalitetsarbetet med kurser. Här kan du läsa om projektet och ta del av tidplanen.
Projektet i korthet
-
Det nya systemet är Artologik Survey&Report, integrerat i Canvas, som anpassas för KTH:s behov. Det nuvarande systemet LEQ fasas ut i samband med att det nya införs.
-
Systemet testas tidigt i HT24 och införs skarpt senare i HT24.
-
Kursvärderingar kommer att ske per automatik med tydligare mallar vilket minskar arbetsbördan för lärare.
- Det införs enhetliga mallar för kursvärdering, kursanalys och de åtgärdsplaner som upprättas för kurser med identifierade brister.
- Det kommer erbjudas utbildningar och rekommendationer för det nya systemet.
Bakgrund
Projektet för att ta fram ett nytt system för kursvärdering och kursanalys är en del av ett större projekt att se över hela KTH:s kvalitetssystem för utbildning.
Här kan du läsa mer om hela kvalitetsarbetet inom utbildning: Kvalitetsarbete inom utbildning
Genomlysning av KTH:s kvalitetssystem för utbildning
Dekanus och fakultetsrådet har under åren 2022–2023 ansvarat för att göra en genomlysning av KTH:s kvalitetssystem för utbildning. Utgångspunkterna för genomlysningen har varit att värdera om systemet är effektivt och ändamålsenligt, om det är anpassat efter KTH:s verksamhet och organisation samt om det är värdeskapande för KTH:s lärare, studenter och ledning.
Under arbetet med genomlysningen har en problembild växt fram. Problemen rör dels att systemet inte stödjer identifiering av brister eller inte ställer krav på att åtgärder vidtas samt att funktioner i linjeorganisationen inte involveras i kvalitetsarbetet. Det framkom även att det finns delade uppfattningar om nyttan med arbetet med programanalyser, skolrapporter och kvalitetsdialoger. Kvalitetsarbetet som görs på kurser, exempelvis genom kursvärderingar och kursanalyser, har inte heller varit en tydlig del i kvalitetssystemet tidigare.
Utgångspunkterna för det reviderade kvalitetssystemet, inklusive arbetet med kursvärdering och kursanalys, har varit att det ska stödja ett kontinuerligt arbete med att följa upp verksamheten för att identifiera styrkor och svagheter, att definiera utvecklingsområden och att följa upp vidtagna åtgärder och utvecklingsaktiviteter. Även återkoppling till samtliga involverade parter, inklusive studenter och doktorander, är en viktig del i systemet. Kvalitetssystemet ska också vara resurseffektivt, både vad gäller tidsåtgång för personal och ur ett ekonomiskt perspektiv.
Kvalitetsarbetet för kurser
På kursnivå visade genomlysningen dels att konstaterade kvalitetsbrister kan kvarstå från år till år och dels att kursanalyser inte har upplevts meningsfulla av alla lärare. Det saknas också enhetlighet i kursvärderingsenkäter och kursanalyserna återkopplas sällan till studenter. Dessutom är det ofta låg svarsfrekvens på kursvärderingar från studenter och doktorander.
För att förbättra kvalitetsarbetet har fakultetsrådet och dekanus tagit initiativ till att prioritera kursvärdering och kursanalys inom det reviderade kvalitetssystemet.
Syfte
Projektets syfte är att utveckla processtödet för kursvärderingar och kursanalys med ett system som förenklar arbetet för lärarna, säkerställer att alla studenter och doktorander ges möjlighet att besvara kursenkäterna och att data som samlas in görs tillgänglig för olika intressenter på KTH. Genom kursvärderingarna ska studenterna och doktoranderna ges möjlighet att, med fokus på kursutveckling och studenternas måluppfyllelse, lämna synpunkter på kursens utformning, examination och sina egna insatser. Med det nya systemet ska kursanalyser enkelt publiceras och finnas tillgängliga att läsa vilket ökar återkopplingen till studenterna och doktoranderna.
I arbetet ingår också att införa enhetliga mallar för kursvärdering, kursanalys och för de åtgärdsplaner som skall upprättas för kurser med identifierade brister. Genom att samma mallar används blir det också möjligt att sammanställa och analysera data på olika nivåer inom KTH. Det möjliggör också för berörda funktioner att få en samlad bild av hur kvalitetsarbetet med kurser bedrivs.
Mål
Projektet ska resultera i att KTH har implementerat det nya systemet för kursvärdering och kursanalys, Artologik Survey&Report, samt tagit fram nya processer och stöd för systemet.
Projektmål
Efter avslutat projekt ska sju projektmål ha uppnåtts:
- Ny plattform: Implementerat ett KTH-gemensamt IT-system för kursvärdering och kursanalys.
- Canvas-integration: Integrerat systemet med Canvas för effektivare tillgång och hantering av kursvärderingar och analyser.
- Automatiserad kursenkät: Infört automatiska kursenkäter baserade på KTH:s standardmall med möjlighet för lärare att lägga till egna frågor.
- Moderering av fritext: Tillhandahållit en funktion för moderering av fritextsvar för att underlätta hanteringen för lärare.
- Publicering av analyser: Implementerat automatisk publicering av öppen kursanalys (del 1) medan intern analys (del 2) hålls privat för lärare.
- Datainfrastruktur: Skapat en infrastruktur för att utnyttja kursvärderings- och analysdata för kvalitetsuppföljning.
- Dataskydd: Garanterat att datalagring och datahantering följer KTH:s regelverk.
Effektmål
Efter avslutat projekt ska två övergripande effektmål ha uppnåtts:
- Alla KTH:s studenter ska efter varje avslutad kursomgång ha möjlighet att lämna sina synpunkter i en kursvärdering enligt KTH:s kursvärderingsenkätsmall, så att KTH kan säkerställa efterlevnad av högskoleförordningen 1 kap. 14 §.
- Alla kurser ska efter kursomgångens slut ha en publicerad kursanalys.
Process för kursvärdering och kursanalys, steg för steg
Här ser du tänkt process och tidplan för hur kursvärdering och kursanalys går till. Processen kommer att testas och utvärderas på olika sätt och kan komma att ändras.
Process och tidplan för kursvärdering och kursanalys
Tidplan
| När | Aktivitet |
|---|---|
| Januari–oktober 2024 | Utveckling av det nya systemet för kursvärdering och kursanalys, Artologik Survey&Report. |
| Läsperiod 1–2 HT24 | Det nya systemet testas på pilotkurser. |
| HT24–VT25 | Systemet utvärderas och justeras utifrån lärdomar från testet på pilotkurser. |
| Läsperiod 3, VT25 | Det nya systemet sätts i skarp drift och det gamla systemet, LEQ, avvecklas. |
| Under VT25 | Utbildningar för lärare, examinatorer och kursansvariga. |
Informationsmöten
Välkommen att medverka på informationsmöten om projektet där du kan höra om projektet och ställa frågor. Informationstillfällena hålls över Zoom och planeras till nedan datum.
Inga fler informationsmöten är inplanerade för tillfället, men det kommer erbjudas utbildningar om det nya systemet.
Kontaktinformation
Kontakta projektets kommunikatör William Källback Winter på wkw@kth.se om du undrar något om projektet.
Projektgrupp
Uppdragsorganisation
Projektet genomförs av kvalitetssamordnarna vid ledningskansliet och portföljkontoret för delportfölj utbildning (PMO/ITA), på uppdrag av fakultetsrådet och dekanus/prodekanus.
Referensgrupp
Dekanus har beslutat att för läsåret 2024–2025 utse en referensgrupp för implementeringen av den del i KTH:s reviderade kvalitetssystem som rör kvalitet i kurser. Gruppen rapporterar löpande till Grundutbildningsutskottet samt involverar vid behov fakultetsnämnden vid respektive skola. Representant från gruppen kallas också vid behov till projektgruppens möten. Se diarienummer V-2024-0667 för mer info.