Till innehåll på sidan
Till KTH:s startsida

Lunch 'n' Learn: AI och examination

Dokumentation från Lunch 'n' Learn 2 oktober 2024

Publicerad 2024-10-11

En ökad tillgång till kraftfulla AI-verktyg innebär nya möjligheter och utmaningar kring hur vi arbetar med examination och bedömning. I detta Lunch ‘n’ Learn får du höra från Jane Bottomley, Elias Flening och Richard Lee Davis när de delar med sig om sina erfarenheter av att examinera och bedöma i en värld med generativ AI.

Presentatörer

Per Olsson, pedagogisk utvecklare, E-lärande, Digitalt lärande, ITM, KTH. 

Jane Bottomley, adjunkt i engelska och kommunikation, ITM, KTH. 

Elias Flening, lärare och forskare, EECS, KTH. 

Richard Lee Davis, biträdande lektor, E-lärande, Digitalt lärande, ITM, KTH. 

Om webbinariet

I detta webbinarie berättar följande lärare och forskare om sina erfarenheter av AI och examination.  

Jane Bottomley

Jane är adjunkt i engelska och kommunikation. Under det senaste året har hon utvecklat en skrivuppgift för studenter i teknisk kommunikation som inkluderar användningen av generativa AI-verktyg. Studenterna genomför uppgiften med de verktyg de själva väljer och reflekterar sedan över sin användning av dessa verktyg i sin skrivprocess. Jane kommer att diskutera den potentiella rollen som sådana reflektionsuppgifter kan ha för att främja ett kritiskt och etiskt förhållningssätt till AI-verktyg, samt ge en inblick i studenternas perspektiv på skrivande i en värld med AI.

Elias Flening

Elias är forskare inom projektledning vid avdelningen Nätverk och Systemteknik. Elias undervisar bland annat i flera projektbaserade kurser och kommer under webbinariet att dela med sig av sina erfarenheter kring kontinuerlig examination där tillgången till generativa AI-verktyg är ett faktum för studenterna. Han kommer också prata om hur han arbetar förebyggande för att främja lärande och förebygga fusk.

Richard Lee Davis

Richard är biträdande universitetslektor vid avdelningen Digitalt Lärande. Richard har en bakgrund inom utveckling och utvärdering av AI-verktyg och metoder för maskininlärning i olika utbildningsmiljöer. Under detta Lunch’n’Learn kommer Richard prata om hur lärare själva kan nyttja generativa AI-verktyg i sitt arbete med bedömning och examination på ett etiskt försvarbart sätt. 

Innehållsförteckning för videon 

Nedan länklista fungerar som videons innehållsförteckning. Klicka på länken till den del som du vill titta på, så kommer du till KTH Play. Där ska du klicka på startknappen så startar du videon på rätt ställe. 

00:06 Intro 

01:07 Jane Bottomley on the student’s perspective on writing in a world of AI  

07:25 Elias Flening on the use of AI in project-based courses

21:06 Richard Lee Davis on ethical use of AI tools in assessment processes
 

Referenser 

Nämnda referenser i Jane Bottomleys presentation:

  • Consoli, S. (2022) Practitioner research in a UK pre-sessional: The synergy between exploratory practice and student motivation, Journal of English for academic purposes, 57.

  • Fang, X. et al (2024) Bias of AI-generated content: an examination of news produced by large language models, Nature.

  • Feng (Kevin) Jiang, Ken Hyland, Does ChatGPT Argue Like Students? Bundles in Argumentative Essays, Applied Linguistics, 2024.

  • Malmström, H., Stöhr, C., and Ou, A. (2023) Chatbots and other AI for learning: A survey of use and views among university students in Sweden. Chalmers Studies in Communication and Learning in Higher Education 2023:1. 

Nämnda referenser i Elias Flenings presentation:

  • Mollick, E. (2024) ‘Post-apocalyptic education’, One Useful Thing, 30 August. Available at: https://www.oneusefulthing.org/p/post-apocalyptic-education 

  • Mollick, E. (2023) ‘How to use AI to do stuff: an opinionated guide’, One Useful Thing, 15 July. Available at: https://www.oneusefulthing.org/p/how-to-use-ai-to-do-stuff-an-opinionated 

Elias Flenings AI policy mall (pdf 53 kB)   

Nämnda referenser i Richard Lee Davis presentation:

  • Swiecki, Z., Khosravi, H., Chen, G., Martinez-Maldonado, R., Lodge, J. M., Milligan, S., ... & Gašević, D. (2022). Assessment in the age of artificial intelligence. Computers and Education: Artificial Intelligence, 3, 100075.

  • https://teachingcommons.stanford.edu/teaching-guides/foundations-course-design/feedback-and-assessment/summative-assessment-and-feedback

  • Korde, R., & Paulus, P. B. (2017). Alternating individual and group idea generation: Finding the elusive synergy. Journal of Experimental Social Psychology, 70, 177-190.

  • Kooli, C., & Yusuf, N. (2024). Transforming educational assessment: Insights into the use of ChatGPT and large language models in grading. International Journal of Human–Computer Interaction, 1-12.

  • Tao, Y., Viberg, O., Baker, R. S., & Kizilcec, R. F. (2024). Cultural bias and cultural alignment of large language models. PNAS nexus, 3(9), page 346.

  • Manvi, R., Khanna, S., Burke, M., Lobell, D., & Ermon, S. (2024). Large language models are geographically biased. arXiv preprint arXiv:2402.02680.

  • Hofmann, V., Kalluri, P. R., Jurafsky, D., & King, S. (2024). AI generates covertly racist decisions about people based on their dialect. Nature, 1-8.

  • Nazaretsky, T., Mejia-Domenzain, P., Swamy, V., Frej, J., & Käser, T. (2024, September). AI or human? Evaluating student feedback perceptions in higher education. In European Conference on Technology Enhanced Learning (pp. 284-298). Cham: Springer Nature Switzerland 

Nyheter e-lärande