Nytt IT-systemstöd för kursvärdering och kursanalys

Informationsmöten

Välkommen på möten över Zoom där vi berättar om projektet och öppnar upp för frågor. Ett till informationsmöte kommer att erbjudas innan sommaren.

Informationsmöte torsdag 16 maj kl. 10.30–11.30 ​

Projektet i korthet

• Det nya systemet är Artologik Survey&Report, integrerat i Canvas, som anpassas för KTH:s behov. Det nuvarande systemet LEQ  fasas ut i samband med att det nya införs.

• Systemet testas under VT24/ST24 och införs skarpt under HT24.

• Kursvärderingar kommer att ske per automatik med tydligare mallar vilket minskar arbetsbördan för lärare.

• Det införs enhetliga mallar för kursvärdering, kursanalys och de åtgärdsplaner som upprättas för kurser med identifierade brister.
• Det kommer erbjudas utbildningar och rekommendationer för det nya systemet.

Bakgrund

Projektet för att ta fram ett nytt system för kursvärdering och kursanalys är en del av ett större projekt att se över hela KTH:s kvalitetssystem för utbildning.

Genomlysning av KTH:s kvalitetssystem för utbildning

Dekanus och fakultetsrådet har under åren 2022–2023 ansvarat för att göra en genomlysning av KTH:s kva­litetssystem för utbildning. Utgångspunkterna för genomlys­ningen har varit att vär­dera om syste­met är effektivt och ändamålsenligt, om det är anpassat efter KTH:s verksamhet och orga­ni­sation samt om det är vär­deskapande för KTH:s lärare, studenter och ledning.

Under arbetet med genomlysningen har en problembild växt fram. Problemen rör dels att systemet inte stödjer identifiering av brister eller inte stäl­ler krav på att åtgärder vidtas samt att funktioner i linjeorganisationen inte involveras i kvalitetsarbetet. Det framkom även att det finns delade uppfattningar om nyttan med arbetet med programanalyser, skolrapporter och kva­litetsdialoger. Kvalitetsarbetet som görs på kurser, exempelvis genom kursvärderingar och kursanalyser, har inte heller varit en tydlig del i kvalitetssystemet tidigare.

Utgångspunkterna för det reviderade kvalitetssystemet, inklusive arbetet med kursvärdering och kursanalys, har varit att det ska stödja ett kon­ti­nuerligt arbete med att följa upp verksamheten för att identifiera styr­kor och svagheter, att de­finiera utvecklingsområden och att följa upp vidtagna åtgärder och utveck­lingsaktiviteter. Även åter­koppling till samtliga involverade parter, inklusive studenter och doktorander, är en viktig del i systemet. Kvalitetssystemet ska också vara resurseffektivt, både vad gäller tidsåtgång för personal och ur ett eko­no­­miskt perspektiv.

Kvalitetsarbetet för kurser

På kursnivå visade genomlysningen dels att konstaterade kva­litetsbrister kan kvarstå från år till år och dels att kursanalyser inte har upplevts meningsfulla av alla lärare. Det saknas också enhetlighet i kursvärderingsenkäter och kursanalyserna återkopplas sällan till studenter. Dessutom är det ofta låg svarsfrekvens på kursvärderingar från studenter och doktorander.

För att förbättra kvalitetsarbetet har fakultetsrådet och dekanus tagit initiativ till att prioritera kursvärdering och kursanalys inom det reviderade kvalitetssystemet.

Syfte

Projektets syfte är att utveckla processtödet för kursvärderingar och kursanalys med ett system som förenklar arbetet för lärarna, säkerställer att alla studenter och doktorander ges möjlighet att besvara kursenkäterna och att data som samlas in görs tillgänglig för olika intressenter på KTH. Genom kursvärderingarna ska studenterna och doktoranderna ges möjlighet att, med fokus på kursutveckling och studenternas måluppfyllelse, lämna synpunkter på kursens utformning, examination och sina egna insatser. Med det nya systemet ska kursanalyser enkelt publiceras och finnas tillgängliga att läsa vilket ökar återkopplingen till studenterna och doktoranderna.

I arbetet ingår också att införa enhetliga mallar för kursvärdering, kursanalys och för de åtgärdsplaner som skall upprättas för kurser med identifierade brister. Genom att samma mallar används blir det också möjligt att sammanställa och analysera data på olika nivåer inom KTH. Det möjliggör också för berörda funktioner att få en samlad bild av hur kvalitetsarbetet med kurser bedrivs.

Mål

Projektet ska resultera i att KTH har implementerat det nya systemet för kursvärdering och kursanalys, Artologik Survey&Report, samt tagit fram nya processer och stöd för systemet.

Projektmål

Efter avslutat projekt ska sju projektmål ha uppnåtts:

1. Ny plattform: Implementerat ett KTH-gemensamt IT-system för kursvärdering och kursanalys.
2. Canvas-integration: Integrerat systemet med Canvas för effektivare tillgång och hantering av kursvärderingar och analyser.
3. Automatiserad kursenkät: Infört automatiska kursenkäter baserade på KTH:s standardmall med möjlighet för lärare att lägga till egna frågor.
4. Moderering av fritext: Tillhandahållit en funktion för moderering av fritextsvar för att underlätta hanteringen för lärare.
5. Publicering av analyser: Implementerat automatisk publicering av öppen kursanalys (del 1) medan intern analys (del 2) hålls privat för lärare.
6. Datainfrastruktur: Skapat en infrastruktur för att utnyttja kursvärderings- och analysdata för kvalitetsuppföljning.
7. Dataskydd: Garanterat att datalagring och datahantering följer KTH:s regelverk.

Effektmål

Efter avslutat projekt ska två övergripande effektmål ha uppnåtts:

1. Alla KTH:s studenter ska efter varje avslutad kursomgång ha möjlighet att lämna sina synpunkter i en kursvärdering enligt KTH:s kursvärderingsenkätsmall, så att KTH kan säkerställa efterlevnad av högskoleförordningen 1 kap. 14 §.
2. Alla kurser ska efter kursomgångens slut ha en publicerad kursanalys.

Process för kursvärdering och kursanalys, steg för steg

Nedan ser du tänkt process och ordning för kursvärdering och kursanalys. Processen kommer att testas och utvärderas på olika sätt och kan komma att ändras.

1. Kursenkät skapas

Kursenkät skapas automatiskt för varje kurstillfälle, enligt standardiserad enkätmall.

Mall för kursenkät

2. Möjlighet att justera kursenkät

Enkätägare kan justera kursenkäten genom att lägga till frågor och justera start- och slutdatum.

3. Kursenkät publiceras

Kursenkäten publiceras i kursrummet i Canvas, för studenter som är registrerade på kurstillfället.

4. Kursenkät besvaras

Kursenkäten besvaras av studenterna. Påminnelse går ut till de studenter som inte svarat inom viss tid.

5. Kursenkäten stängs

Efter viss tid stängs kursenkäten och kan inte längre besvaras.

6. Granskning av fritextsvar

För att filtrera bort eventuella hot eller trakasserier sker en granskning av fritextsvar som lämnats i kursenkäten. Granskninge ingår som standard men går att välja bort.

7. Rapporter skapas

Två olika rapporter baserat på kursenkäten skapas:

1. Med fritextsvar. Denna rapport är endast synlig för kursansvarig.
2. Utan fritextsvar. Denna rapport kopplas till kursanalys och är den rapport som kommer att publiceras i kursrummet i Canvas samt under Om kursen.

8. Kursanalys genomförs

Kursansvarig gör en kursanalys inom 14 dagar från att enkäten stängs.

9. Rapporter med tillhörande kursanalys publiceras

Rapporter publiceras i kursrummet i Canvas samt publikt och externt under kursens Om kursen-sida. Rapporten publiceras automatiskt, efter 14 dagar, även om kursanalys saknas. Saknas kursanalys innehåller rapporten bara resultat från kursenkäten.

Tidplan

Informationsmöten

Välkommen att medverka på informationsmöten om projektet där du kan höra om projektet och ställa frågor. Informationstillfällena hålls över Zoom och planeras till nedan datum.

• 5 mars kl. 10.30–11.30
• 19 mars kl. 14.00–15.00
• 16 maj kl. 10.30–11.30 
• Cirka mitten av juni (mer info kommer)

Kontaktinformation

Kontakta projektets kommunikatör William Källback Winter på wkw@kth.se  om du undrar något om projektet.

Vanliga frågor och svar (FAQ)

Projektgrupp

Uppdragsorganisation

Projektet genomförs av kvalitetssamordnarna vid ledningskansliet och portföljkontoret för delportfölj utbildning (PMO/ITA), på uppdrag av fakultetsrådet och dekanus/prodekanus.

Delportfölj utbildning

Relaterat innehåll

Nyhetsartikel 26 februari 2024: KTH inför nytt system för kursvärdering och kursanalys till HT24

Nyhetsartikel 8 januari 2024: Ny riktlinje för kvalitetsarbete klar

Aktuella initiativ och projekt i Delportfölj utbildning

Kursanalys och kursdata

Lärmiljöenkät (LEQ)

Beslut om IT-systemstöd för kursvärdering och kursanalys, steg 1 (V-2023-0729)