Michiel de Jong en Michiel Munnik

Het opstellen van een kwaliteitsmodel voor de juiste materialen is daarbij één van de uitdagingen. De ontwikkeling van dit kwaliteitsmodel is net gestart. Het verhaal van de TUDelft biedt een ander perspectief op hoe een kwaliteitsmodel kan worden ingezet.

Michiel de Jong, Open Science and Open Education expert bij de bibliotheek van de Technische Universiteit Delft, leidt een programma om open educatie meer ingebed te krijgen in het onderwijs van de TU Delft. Samen met Michiel Munnik, projectmanager bij de TU Delft Library voor het Open Education-programma van de TU Delft, ontwikkelt hij activiteiten om te zorgen dat docenten positiever staan tegenover het gebruik van open leermaterialen. In dat kader doen ze onderzoek naar de mogelijkheid om een zoekapplicatie te ontwerpen voor het vinden van open leermateriaal dat relevant, betrouwbaar en toepasbaar voor hergebruik is. De tool moet verschillende repositories doorzoeken en docenten resultaten voorleggen die aansluiten op hun wensen.

Zoeken op onderwerp

"Wij willen iemand ondersteunen die specifiek op zoek is naar materiaal over een bepaald onderwerp," legt Michiel de Jong uit. "Er bestaan allerlei plekken waar je open leermaterialen kunt vinden, maar meestal moet je zoeken per repository. Je gaat bijvoorbeeld naar de open course ware site van MIT. Niet omdat je weet dat ze daar materiaal hebben over het onderwerp dat je zoekt, maar omdat het van MIT is."

Of ze de zoekapplicatie uiteindelijk zelf maken, of dat ze samenwerking zoeken met bijvoorbeeld marktpartijen of SURF, ligt nog open. De Jong en Munnik hebben zichzelf tot eind 2019 gegeven om een antwoord te vinden op de vraag of het überhaupt mogelijk is om een dergelijke tool te ontwikkelen.

Kwaliteitsmodel in ontwikkeling

Er komt nogal wat kijken bij het ontwikkelen van een zoekapplicatie voor geschikte open leermaterialen. Allereerst moet je definiëren wat open leermaterialen relevant, betrouwbaar en toepasbaar voor hergebruik maakt. Daar is een kwaliteitsmodel voor nodig. Het opstellen van een kwaliteitsmodel wordt uitgevoerd in samenwerking met de afdeling Computer Science van de Delftse faculteit Electrotechniek, Wiskunde en Informatica. Een masterstudente is een afstudeerproject gestart, waarin zij een lijst kwaliteitscriteria zal samenstellen, geïnspireerd op het framework van Robert Schuwer. Of een leermateriaal inhoudelijk goed in elkaars steekt, is slechts één aspect op de lijst. De productiekwaliteit van materiaal kan een kwaliteitsaspect zijn; de grootte van het materiaal en de manier waarop het wordt gedeeld: is het downloadbaar of niet? Onder wat voor licentie wordt het gedeeld? Is het materiaal actueel? Past het binnen een trend? Gaat het bijvoorbeeld over een onderwerp waarover veel wordt gepubliceerd?

Haalbaarheidsonderzoek

Het definiëren van kwaliteit alleen is niet voldoende. "Je kunt wel een lijst opstellen met primaire en secundaire kwaliteitsvoorwaarden, maar dat wil nog niet zeggen dat je ook op die aspecten kunt zoeken in repositories," zegt Munnik. Dat is de technische uitdaging waar de onderzoekers voor staan. Stel, je zoekt een video over zwaartekracht die wordt gedeeld onder een specifieke Creative Commons-licentie. De video mag niet langer zijn dan twee minuten en de productiekwaliteit moet aan bepaalde eisen voldoen. Aan de hand van een dergelijke casus zal de studente een algoritme ontwikkelen, dat meerdere repositories voor open leermaterialen tegelijk kan doorzoeken. Is het haalbaar om aan de hand van zulke kwaliteitsaspecten goed leermateriaal te vinden? Ze verwachten dat sommige aspecten lastiger zullen zijn dan andere. Zoeken op de licentie of gedetailleerd op een onderwerp is waarschijnlijk wel mogelijk, maar bijvoorbeeld de productiekwaliteit van een video ligt lastiger.

Ook lastig, zij het om een andere reden, is het kwaliteitsaspect 'gebruikersoordeel'. Bekende repositories als OER commons en MERLOT hanteren user ratings bij leermaterialen. Maar hoe betrouwbaar is de mening van de gebruikers? De Jong: "Binnen de open education community bestaat veel twijfel over de vraag of je een user rating als graadmeter kunt gebruiken. Hoe kom je er bijvoorbeeld achter wie jouw materiaal van een rating heeft voorzien? Zijn dit studenten, docenten, of anderen? Kunnen deze mensen wel een gedegen inschatting maken van de kwaliteit van jouw materiaal? Volgens mij is dit het meest controversiële kwaliteitsaspect van open leermaterialen."

Wat is er nodig en wat moet er nog gebeuren?

Het onderzoek zal zich richten op de vraag: wat is er nodig om een zoekapplicatie te ontwikkelen voor leermateriaal dat relevant, betrouwbaar en toepasbaar voor hergebruik is? En wat moet er nog gebeuren? Munnik: "Zijn er manieren om een aantal tools bij elkaar te brengen die samen kunnen doen wat wij graag willen? Kunnen we afspraken maken met partijen zodat we hun content mogen gebruiken? Uiteindelijk hopen we tot een tool te komen die de docent ondersteunt in het vinden van geschikt materiaal. Dat moet ertoe leiden dat hij een positieve beleving krijgt en sneller content gaat hergebruiken. Het kan er ook voor zorgen dat die docent zelf begint met het publiceren van open leermaterialen, omdat hij ziet dat zijn content op een goede manier wordt verspreid."