Maak online leren motiverender met learning analytics

Uwe Matzat is naast docent ook onderzoeker aan de Technische Universiteit Eindhoven. Zijn onderzoeksinteresse is educational technology. Hij probeert antwoord te vinden op de vraag: hoe kunnen we technologie inzetten om het onderwijs te verbeteren? Daarin speelt learning analytics uiteraard een rol, vertelt hij. “Met name in de coronaperiode ontstond de behoefte om meer te weten te komen over het leerproces van studenten. We hadden immers volop te maken met de beperkingen van online onderwijs en we wilden weten: welke studenten lopen achter? En kunnen we hen motiveren om meer tijd aan hun studie te spenderen?”

Voorspellen van leerachterstanden

Daarom diende hij een aanvraag in bij SURF voor de Stimuleringsregelingregeling Open en online onderwijs voor het project PerActiLA. Matzat: “Eigenlijk testen we in dit project twee dingen: de bijdrage die learning analytics kan leveren aan het identificeren van studenten die achterlopen en de invloed van mindset-interventies op deze groep.” 

Mindset-interventies bestaan uit een combinatie van educatieve video’s, leesonderdelen, persoonlijke verhalen van andere studenten en schrijfoefeningen. “Het zijn korte interventies, in ons geval twee keer twintig minuten, die studenten thuis kunnen doen. Op die manier schepen we studenten niet op met een heleboel extra werk. Bovendien hebben we als TU/e al behoorlijk wat ervaring met mindset-interventies. We hadden het vermoeden dat deze goed werken bij studenten die achterop dreigen te raken. Het doel van dit project is om te onderzoeken of dat ook daadwerkelijk zo is.”

Hoewel corona de directe aanleiding was om hiermee aan de slag te gaan, is het uiteraard de bedoeling om de methode ook in te zetten in normale periodes zonder beperkingen. “Want bij grote vakken van bachelorstudies is het voor docenten altijd moeilijk om te achterhalen welke studenten wel of niet goed meekomen. Je hebt immers honderd studenten of meer voor je neus, die kun je niet allemaal individueel begeleiden. We wilden daarom ook leren hoe we op basis van learning analytics snel kunnen achterhalen welke studenten wat extra aandacht nodig hebben”, vertelt hij. 

Complicerende factoren

Hoewel het idee in theorie eenvoudig is, is de uitwerking in de praktijk moeilijk, weet Matzat. En wel om een aantal redenen. “In de eerste plaats moet je alle stakeholders betrekken: studenten, docenten, andere onderzoekers, ict-ers, de juridische afdeling. Het kost veel tijd om alle betrokkenen mee te krijgen en te laten inzien waarom we dit doen.”
Daarnaast is privacy een aandachtspunt. Matzat: “Natuurlijk moet je voldoen aan de AVG, maar daarmee ben je er niet. Want een data protection impact assessment (dpia) is leuk. Maar je moet er ook – en eigenlijk vooral – voor zorgen dat studenten begrijpen wat zij aan de mindset-interventies hebben. Als zij inzien wat het nut is van vroegtijdige begeleiding, zullen ze eerder geneigd zijn toestemming te geven voor het gebruik van hun data dan wanneer zij denken dat wij die data alleen maar voor onszelf gebruiken.”

Tot slot was het nog niet zo eenvoudig om uit de “enorme bak aan data”, zoals Matzat de gegevens in het Learning Management Systeem (LMS) van Canvas noemt, inzichten te halen. “We hadden zo ontzettend veel data tot onze beschikking. De vraag is hoe je die data omzet naar bruikbare inzichten. Wij wilden al na vier weken na aanvang van een vak voorspellen  welke studenten waarschijnlijk een achterstand gaan oplopen. De vraag is: welke data zijn voorspellend en welke niet? Om dat te achterhalen hebben we verschillende modellen en verschillende datasets uitgeprobeerd. Soms kwamen we erachter dat de data eerst nog een bewerkingsslag nodig hadden voordat ze bruikbaar waren. Bij andere datasets ontdekten we dat ze geen voorspellend vermogen hadden. Het is echt puzzelen; vallen en opstaan. Wij kwamen er bijvoorbeeld achter dat het design van een vak een veel grotere rol speelde in de voorspellende waarde van data dan we vooraf dachten. Je moet dan dus heel goed in overleg met de docenten over hoe hun vak is opgezet.”

Resultaten

Na vier weken liet het team onder leiding van Matzat de mindset-interventies los op de studenten. Alle studenten kregen dezelfde interventies, zodat het team achteraf goed kon analyseren of de impact van deze interventies groter was bij studenten bij wie een achterstand dreigt. Het blijkt dat het relatief goed lukt om al na vier weken te voorspellen hoe succesvol een student gaat zijn in het vak. Ook is aangetoond dat mindset-interventies een goede manier zijn om de engagement van studenten te verhogen. Wel blijkt dat de verschillen in impact tussen zwakke en sterke studenten minder groot zijn dan vooraf gedacht. Matzat: “We hadden verwacht dat zwakke studenten relatief gezien veel meer baat zouden hebben van mindset-interventies dan sterke studenten. We willen hier nog verder aan sleutelen, om juist het effect bij zwakke studenten nog verder te bestuderen. Het doel is immers om hen vroegtijdig te helpen.”
Behalve deze directe resultaten, zijn er ook veel indirecte effecten, vertelt Matzat. “Zo is de samenwerking met de ict-afdeling verbeterd. Zij snappen beter wat wij met learning analytics willen doen, waardoor zij ons in de toekomst ook kunnen gaan inspireren en adviseren.”
Daarnaast is er veel interesse bij de drie andere technische universiteiten van ons land waar de TU/e mee samenwerkt in de 4TU Federatie. “Zij willen ook met learning analytics aan de slag en zij gaan onze projectresultaten daarbij gebruiken”, zegt Matzat niet zonder trots. Daarnaast ziet hij ook al voorzichtige interesse bij andere universiteiten. “Want deze manier van het verhogen van de leerresultaten is niet voorbehouden aan technische vakken. Je kunt het eigenlijk toepassen bij alle vakken die je aan grote groepen tegelijk geeft.”
 

Werk samen

Juist omdat learning analytics en onderwijsinterventies zo’n brede toepassing kennen, roept Matzat anderen die met dezelfde onderwerpen bezig zijn op om contact op te nemen. “Ik zie dat momenteel op veel verschillende plekken wordt gewerkt aan toepassingen en technieken die in elkaars verlengde liggen. Als we samen optrekken, dan hoeven we het wiel niet op meer plekken tegelijkertijd uit te vinden, maar kunnen we juist voortborduren op elkaars resultaten en zo samen meer snelheid maken.”

Ben jij bezig met learning analytics en/of mindset-interventies? En zou jij graag van anderen willen leren? Meld je dan bij u.matzat@tue.nl