Je kunt heel veel mooie criteria opstellen, maar zo'n enorme lijst schrikt ook af. We moesten er dus nog eens kritisch naar kijken: wat moet er echt in?
Stappenplan Kwaliteitsmodel voor open leermaterialen
Werk je aan open leermaterialen? Zorg dan dat deze van goede kwaliteit zijn en voldoen aan de juiste criteria. Het opstellen van een kwaliteitsmodel kan helpen het leermateriaal te beoordelen. Het stappenplan leidt je langs de verschillende stappen voor het opstellen, implementeren en onderhouden van een kwaliteitsmodel voor open leermaterialen.
Stap 3. Ontwikkel een eerste versie van het kwaliteitsmodel
Nu kun je met het team beginnen aan het ontwikkelen van het kwaliteitsmodel. Deze stap kent een aantal deelstappen.
Verdiep je in andere kwaliteitsmodellen
Verdiep je allereerst in bestaande generieke kwaliteitsmodellen en modellen van andere vakcommunity’s. Er zijn een aantal nationale en internationale voorbeelden van kwaliteitsmodellen en onderzoeken die je kunt gebruiken als basis voor je eigen model. Lees meer over de verschillende frameworks en modellen bij de bronnen.
Bronnen
1. Kwaliteit van open leermaterialen. — 2013 (PDF)
Generiek framework voor een kwaliteitsmodel
Dit onderzoek is uitgevoerd door Robert Schuwer in opdracht van SURF en vormt de basis van dit stappenplan. Wat is belangrijk als je kwaliteit van open leermateriaal zichtbaar wilt maken? Zorg voor een adequate beschrijving van het leermateriaal en de context waarvoor het leermateriaal geschikt is. Maak de waardering van het materiaal zichtbaar door community’s van gebruikers hun oordeel over open leermateriaal te laten geven. Een andere, indirecte manier om de kwaliteit weer te geven, is de reputatie van de instelling die open leermaterialen publiceert.
2. A framework for assessing fitness for purpose in open educational resources. — 2016
Een framework om docenten te helpen bij het beoordelen van open leermaterialen
In ‘A framework for assessing fitness for purpose in open educational resources’ presenteren Insung Jung, Teruyoshi Sasaki en Colin Latchem een framework dat is gebaseerd op de kwaliteitsaanpak van MERLOT en een survey onder ruim 200 experts over criteria. Het framework is vooral bedoeld om docenten te helpen bij het beoordelen van open leermaterialen. De onderzoekers besteden veel aandacht aan de didactische aspecten van leermaterialen.
3. The TIPS Framework Version 2.0 — 2014
Een generiek framework met 4 categorieën en 38 criteria
The TIPS Framework Version 2.0 presenteert een framework gebaseerd op literatuurstudie en feedback van experts. Het onderscheidt vier categorieën met totaal 38 criteria, die de naam voor dit framework, TIPS, verklaren:
(T) Teaching and Learning Processes
(I) Information and Material Content
(P) Presentation, Product and Format
(S) System Technical and Technology
4. Annotationskonzept für Bildungsressourcen. — 2018
Beoordelingsinstrument op basis van framework
Ook de Duitstalige publicatie Annotationskonzept für Bildungsressourcen biedt een framework gebaseerd op een literatuurstudie. Zij komen tot vier categorieën van criteria:
- Pädagogik
- Inhalt
- Technik
- Lizenz
Dit framework vormt de basis voor een beoordelingsinstrument om open leermaterialen per criterium te kunnen beoordelen. Er geldt een schaal van 0 (Das Kriterium ist für die Ressource nicht zutreffend oder kann nicht bewertet werden) tot 5 (Die bewertete Ressource erfüllt das Kriterium vollumfänglich). Tijdens het schrijven van dit stappenplan, in oktober 2018, was het instrument nog in ontwikkeling.
Kwaliteitsmodellen van vakcommunity’s
Er zijn twee vakcommunity’s in Nederland die gezamenlijk een kwaliteitsmodel hebben ontwikkeld en deze nu gezamenlijk gebruiken in het beoordelen van leermaterialen. Het samenwerkingsverband van de hbo-verpleegkunde opleidingen (HBO-V) werken sinds 2017 samen aan het beschikbaar stellen van een kwalitatief hoogwaardige collectie open leermaterialen. De tweede community is het samenwerkingsverband van ict-opleidingen HBO, HBO-I.
Meer informatie over deze vakcommunity’s en hun kwaliteitsmodellen zijn te vinden onder bronnen.
Bronnen
1. Liever kort en praktisch dan een te uitgebreid kwaliteitsmodel — Interview Marloes van den Broek, Fontys Hogescholen 2018
Marloes van den Broek over het kwaliteitsmodel HBO-V
Binnen de opleidingen hbo-verpleegkunde loopt een initiatief om leermaterialen voor de opleiding open beschikbaar te maken. Het ontwikkelen van een kwaliteitsmodel voor het leermateriaal maakt daarvan onderdeel uit. Het initiatief is gestart met vijf instellingen binnen een boegbeeldregeling van het Ministerie van OCW. Vanuit de Stimuleringsregeling Open en Online onderwijs krijgen ze de mogelijkheid uit te breiden naar alle hbo verpleegkunde-opleidingen in Nederland. In dit interview verteld Marloes van den Broek, docent en projectlid van het project 'samen hbo-v' hoe ze gekomen zijn tot het huidige kwaliteitsmodel.
2. Kwaliteitsmodel HBO-V — 2017
Het kwaliteitsmodel van HBO-V bestaat uit 9 must have criteria en 15 nice to have criteria. Na een periode dat het kwaliteitsmodel door de community is gebruikt is de community begin 2019 bezig met een herziene versie.
3. Bouwstenen voor ict-onderzoeksonderwijs delen — Interview Danny Plass, Saxion
Een aantal hogescholen werkt samen aan het ontwikkelen van nieuw leermateriaal voor onderzoeksonderwijs in het ict. Een kerngroep van vier HBO's ontwikkelde een kwaliteitsmodel en een template voor het maken van zogenaamde 'bouwstenen'. In dit interview verteld Danny Plass, docent en projectleider van het initiatief hoe ze gekomen zijn tot het huidige kwaliteitsmodel.
4. Kwaliteitsmodel HBO-I — 2018
Het kwaliteitsmodel van HBO-I is gebaseerd op het model van HBO-V. Het beschrijft:
- Vakinhoud
- Didactiek
- Presentatie en taal
Tevens maken ze onderscheid in must have en nice to have.
Inbedding van het kwaliteitsmodel in het kwaliteitssysteem
Een kwaliteitsmodel is maar één element in een systeem van kwaliteitsborging. Hoe pak je de kwaliteitsborging van open leermaterialen systematisch aan? Drie voorbeelden die zich baseren op een kwaliteitsmodel:
MERLOT
|
MERLOT, een initiatief van de California State University, is, naast een platform om leermaterialen open te delen, 'een gemeenschap van medewerkers, vrijwilligers en MERLOT-leden die op verschillende manieren samenwerken om gebruikers van open leermaterialen te voorzien van een reeks diensten en functies die hun educatieve ervaring kan verhogen.' De kwaliteitsborging van MERLOT bestaat uit diverse elementen:
|
Wikiwijs
|
Wikiwijs is een Nederlands platform voor het maken, delen en zoeken van open leermaterialen. Kwaliteitsborging van Wikiwijs kent de volgende elementen:
|
Klascement
|
Klascement is een leermiddelennetwerk in Vlaanderen. Kwaliteitsborging in Klascement kent de volgende elementen:
|
2. Inventariseer criteria voor het leermateriaal
Het projectteam stelt een lijst van kwaliteitscriteria op. Dat kan op verschillende manieren gebeuren. Enkele suggesties:
- Ga na of er landelijke of internationale afspraken bestaan over de inhoud van een curriculum of over leermaterialen binnen het vakgebied (een opleidingsprofiel). Dit kun je bijvoorbeeld navragen bij vakverenigingen. Dergelijke afspraken zijn een goede bron voor de vakinhoudelijke criteria.
- In veel kwaliteitsmodellen zijn de criteria opgedeeld in een aantal categorieën, bijvoorbeeld vakinhoud, didactiek en vorm/ presentatie. Onder het laatste vallen bijvoorbeeld criteria voor toegankelijkheid. Voor sommige categorieën van criteria bestaan standaarden of richtlijnen. Richtlijnen voor de toegankelijkheid van content vind je in de Web Content Accessibility Guidelines van het W3C Consortium en op de website digitoegankelijk.nl van de Rijksoverheid. Het is verstandig om contact te zoeken met specialisten op het gebied van dergelijke richtlijnen, of ze deelnemer te maken van het projectteam.
- Een veelvoorkomend criterium voor de vorm/ presentatie is dat de leermaterialen metadata bevatten. Ook voor metadata gelden standaarden, opgesteld door Edustandaard.
- Zoek je een goede basis voor didactische criteria? Bestudeer de kenmerken van leermaterialen die passen bij de didactische visie van de groep waarvoor het model wordt opgesteld.
- Formuleer een criterium zo SMART mogelijk (Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden). Bijvoorbeeld: formuleer niet: ‘De tekst moet niet te klein zijn’, maar: 'De tekst moet minimaal een fontgrootte van 10pt hebben’.
- Formuleer een criterium enkelvoudig. Een voorbeeld van een samengesteld criterium is: 'Het leermateriaal is te bekijken op een reguliere PC, Mac of tablet en de tekst moet minimaal een fontgrootte van 10pt hebben'. Maak hier twee enkelvoudige criteria van: ‘Het leermateriaal is te bekijken op een reguliere PC, Mac of tablet' en 'De tekst moet minimaal een fontgrootte van 10pt hebben'.
3. Bepaal het gewicht per criterium
Het belang van de verschillende criteria hangt af van de context. Meestal hoeft een leermateriaal niet aan álle criteria te voldoen om toch van voldoende kwaliteit te zijn. Hierover ga je als projectgroep samen in gesprek. Deel de criteria in verschillende categorieën in, afhankelijk van hun relatieve 'gewicht'. Geef aan of een criterium een eis is ('must have'), of een wens ('nice to have').
- Een criterium is een eis wanneer leermateriaal per se aan het criterium moet voldoen om als 'kwalitatief goed' te worden aangemerkt.
- Een criterium is een wens wanneer leermateriaal niet verplicht aan het criterium moet voldoen, maar het wel mooi meegenomen is wanneer dit wel het geval is.
4. Formuleer een procedure per criterium
Met alleen het formuleren van criteria ben je er nog niet; ze moeten ook controleerbaar zijn. Probeer met elkaar een procedure te formuleren waarmee een criterium kan worden nagegaan. In eerste instantie is het voldoende om alleen voor de criteria die gelden als eisen een procedure te formuleren.
Een voorbeeld: een criterium kan zijn 'De tekst bevat geen spelfouten'. Je kunt ervoor kiezen om de tekst hierop volledig te laten controleren. In de praktijk kost dat misschien te veel tijd. Een mogelijke procedure is dan: 'Neem een willekeurige steekproef van één pagina. Wanneer die pagina geen spelfouten bevat, wordt aan het criterium voldaan.'
We stellen vrij basale eisen aan materiaal, zo mag het geen spelfouten bevatten. Daarnaast zijn er een aantal vakinhoudelijke en didactische punten waarop we materiaal beoordelen. Zo moet het materiaal de voorkennis van de student stimuleren en moet zijn aangegeven bij welke leerdoelen het aansluit.