Stappenplan Kwaliteitsmodel voor open leermaterialen

Werk je aan open leermaterialen? Zorg dan dat deze van goede kwaliteit zijn en voldoen aan de juiste criteria. Het opstellen van een kwaliteitsmodel kan helpen het leermateriaal te beoordelen. Het stappenplan leidt je langs de verschillende stappen voor het opstellen, implementeren en onderhouden van een kwaliteitsmodel voor open leermaterialen.

Hard werkende studenten in bibliotheek

Stap 3. Ontwikkel een eerste versie van het kwaliteitsmodel

Nu kun je met het team beginnen aan het ontwikkelen van het kwaliteitsmodel. Deze stap kent een aantal deelstappen.

Verdiep je in andere kwaliteitsmodellen

Verdiep je allereerst in bestaande generieke kwaliteitsmodellen en modellen van andere vakcommunity’s. Er zijn een aantal nationale en internationale voorbeelden van kwaliteitsmodellen en onderzoeken die je kunt gebruiken als basis voor je eigen model. Lees meer over de verschillende frameworks en modellen bij de bronnen.

Bronnen

1. Kwaliteit van open leermaterialen. — 2013 (PDF)

Generiek framework voor een kwaliteitsmodel

Dit onderzoek is uitgevoerd door Robert Schuwer in opdracht van SURF en vormt de basis van dit stappenplan. Wat is belangrijk als je kwaliteit van open leermateriaal zichtbaar wilt maken? Zorg voor een adequate beschrijving van het leermateriaal en de context waarvoor het leermateriaal geschikt is. Maak de waardering van het materiaal zichtbaar door community’s van gebruikers hun oordeel over open leermateriaal te laten geven. Een andere, indirecte manier om de kwaliteit weer te geven, is de reputatie van de instelling die open leermaterialen publiceert.

Open bron

2. A framework for assessing fitness for purpose in open educational resources. — 2016

Een framework om docenten te helpen bij het beoordelen van open leermaterialen

In ‘A framework for assessing fitness for purpose in open educational resources’ presenteren Insung Jung, Teruyoshi Sasaki en Colin Latchem een framework dat is gebaseerd op de kwaliteitsaanpak van MERLOT en een survey onder ruim 200 experts over criteria. Het framework is vooral bedoeld om docenten te helpen bij het beoordelen van open leermaterialen. De onderzoekers besteden veel aandacht aan de didactische aspecten van leermaterialen.

Open bron

3. The TIPS Framework Version 2.0 — 2014

Een generiek framework met 4 categorieën en 38 criteria

The TIPS Framework Version 2.0 presenteert een framework gebaseerd op literatuurstudie en feedback van experts. Het onderscheidt vier categorieën met totaal 38 criteria, die de naam voor dit framework, TIPS, verklaren:

(T) Teaching and Learning Processes
(I) Information and Material Content
(P) Presentation, Product and Format
(S) System Technical and Technology

Open bron

4. Annotationskonzept für Bildungsressourcen. — 2018

Beoordelingsinstrument op basis van framework

Ook de Duitstalige publicatie Annotationskonzept für Bildungsressourcen biedt een framework gebaseerd op een literatuurstudie. Zij komen tot vier categorieën van criteria:

  • Pädagogik
  • Inhalt
  • Technik
  • Lizenz

Dit framework vormt de basis voor een beoordelingsinstrument om open leermaterialen per criterium te kunnen beoordelen. Er geldt een schaal van 0 (Das Kriterium ist für die Ressource nicht zutreffend oder kann nicht bewertet werden) tot 5 (Die bewertete Ressource erfüllt das Kriterium vollumfänglich). Tijdens het schrijven van dit stappenplan, in oktober 2018, was het instrument nog in ontwikkeling.

Open bron

Kwaliteitsmodellen van vakcommunity’s

Er zijn twee vakcommunity’s in Nederland die gezamenlijk een kwaliteitsmodel hebben ontwikkeld en deze nu gezamenlijk gebruiken in het beoordelen van leermaterialen. Het samenwerkingsverband van de hbo-verpleegkunde opleidingen (HBO-V) werken sinds 2017 samen aan het beschikbaar stellen van een kwalitatief hoogwaardige collectie open leermaterialen. De tweede community is het samenwerkingsverband van ict-opleidingen HBO, HBO-I.

Meer informatie over deze vakcommunity’s en hun kwaliteitsmodellen zijn te vinden onder bronnen.

Bronnen

1. Liever kort en praktisch dan een te uitgebreid kwaliteitsmodel — Interview Marloes van den Broek, Fontys Hogescholen 2018

Marloes van den Broek over het kwaliteitsmodel HBO-V

Binnen de opleidingen hbo-verpleegkunde loopt een initiatief om leermaterialen voor de opleiding open beschikbaar te maken. Het ontwikkelen van een kwaliteitsmodel voor het leermateriaal maakt daarvan onderdeel uit. Het initiatief is gestart met vijf instellingen binnen een boegbeeldregeling van het Ministerie van OCW. Vanuit de Stimuleringsregeling Open en Online onderwijs krijgen ze de mogelijkheid uit te breiden naar alle hbo verpleegkunde-opleidingen in Nederland. In dit interview verteld Marloes van den Broek, docent en projectlid van het project 'samen hbo-v' hoe ze gekomen zijn tot het huidige kwaliteitsmodel.

Open bron

2. Kwaliteitsmodel HBO-V — 2017

Het kwaliteitsmodel van HBO-V bestaat uit 9 must have criteria en 15 nice to have criteria. Na een periode dat het kwaliteitsmodel door de community is gebruikt is de community begin 2019 bezig met een herziene versie.

Open bron

3. Bouwstenen voor ict-onderzoeksonderwijs delen — Interview Danny Plass, Saxion

Een aantal hogescholen werkt samen aan het ontwikkelen van nieuw leermateriaal voor onderzoeksonderwijs in het ict. Een kerngroep van vier HBO's ontwikkelde een kwaliteitsmodel en een template voor het maken van zogenaamde 'bouwstenen'. In dit interview verteld Danny Plass, docent en projectleider van het initiatief hoe ze gekomen zijn tot het huidige kwaliteitsmodel.

Open bron

4. Kwaliteitsmodel HBO-I — 2018

Het kwaliteitsmodel van HBO-I is gebaseerd op het model van HBO-V. Het beschrijft:

  1. Vakinhoud
  2. Didactiek
  3. Presentatie en taal

Tevens maken ze onderscheid in must have en nice to have.

Open bron

Inbedding van het kwaliteitsmodel in het kwaliteitssysteem

Een kwaliteitsmodel is maar één element in een systeem van kwaliteitsborging. Hoe pak je de kwaliteitsborging van open leermaterialen systematisch aan? Drie voorbeelden die zich baseren op een kwaliteitsmodel:

MERLOT

MERLOT, een initiatief van de California State University, is, naast een platform om leermaterialen open te delen, 'een gemeenschap van medewerkers, vrijwilligers en MERLOT-leden die op verschillende manieren samenwerken om gebruikers van open leermaterialen te voorzien van een reeks diensten en functies die hun educatieve ervaring kan verhogen.'

De kwaliteitsborging van MERLOT bestaat uit diverse elementen:

  • Een instelling die leermaterialen wil toevoegen moet lid zijn van MERLOT.
  • Via peer review worden leermaterialen beoordeeld op een set van criteria. De resultaten van de peer review worden als rapportage open gedeeld, gekoppeld aan de leermaterialen. De peer review vindt achteraf plaats, wanneer de leermaterialen al toegankelijk zijn via de site.

Wikiwijs

Wikiwijs is een Nederlands platform voor het maken, delen en zoeken van open leermaterialen. Kwaliteitsborging van Wikiwijs kent de volgende elementen:

  • Om leermaterialen te plaatsen moet je over een account beschikken.
  • Er is een beknopt kwaliteitsmodel ontwikkeld (een framework), dat wordt toegepast op verschillende vakgebieden. Daarnaast zijn er ook kwaliteitsmodellen voor specifieke leermaterialen, zoals leermaterialen voor leerlingen met een ernstig meervoudige beperking. Deze modellen zijn onder beheer van een organisatie voor het betreffende specialisme.
  • Wikiwijs kent leermiddelspecialisten, per vakgebied en per specialisme. Zij controleren het beschikbare leermateriaal achteraf, aan de hand van het kwaliteitsmodel van het vakgebied of specialisme.
  • Wanneer leermateriaal aan het betreffende kwaliteitsmodel voldoet, wordt dit zichtbaar gemaakt via een keurmerk dat aan het leermateriaal wordt gekoppeld.

Klascement

Klascement is een leermiddelennetwerk in Vlaanderen. Kwaliteitsborging in Klascement kent de volgende elementen:

  • Om leermaterialen te plaatsen moet je over een account beschikken.
  • Voordat leermateriaal online komen, controleert een redactieraad het leermateriaal op basis van een generiek kwaliteitsmodel.
  • Wanneer leermateriaal niet voldoet aan de kwaliteitscriteria, wordt de indiener van het leermateriaal hiervan op de hoogte gesteld. Wanneer het leermateriaal wel aan het kwaliteitsmodel voldoet, wordt het vrijgegeven voor het platform.

2. Inventariseer criteria voor het leermateriaal

Het projectteam stelt een lijst van kwaliteitscriteria op. Dat kan op verschillende manieren gebeuren. Enkele suggesties:

  • Ga na of er landelijke of internationale afspraken bestaan over de inhoud van een curriculum of over leermaterialen binnen het vakgebied (een opleidingsprofiel). Dit kun je bijvoorbeeld navragen bij vakverenigingen. Dergelijke afspraken zijn een goede bron voor de vakinhoudelijke criteria.
  • In veel kwaliteitsmodellen zijn de criteria opgedeeld in een aantal categorieën, bijvoorbeeld vakinhoud, didactiek en vorm/ presentatie. Onder het laatste vallen bijvoorbeeld criteria voor toegankelijkheid. Voor sommige categorieën van criteria bestaan standaarden of richtlijnen. Richtlijnen voor de toegankelijkheid van content vind je in de Web Content Accessibility Guidelines van het W3C Consortium en op de website digitoegankelijk.nl van de Rijksoverheid. Het is verstandig om contact te zoeken met specialisten op het gebied van dergelijke richtlijnen, of ze deelnemer te maken van het projectteam.
  • Een veelvoorkomend criterium voor de vorm/ presentatie is dat de leermaterialen metadata bevatten. Ook voor metadata gelden standaarden, opgesteld door Edustandaard.
  • Zoek je een goede basis voor didactische criteria? Bestudeer de kenmerken van leermaterialen die passen bij de didactische visie van de groep waarvoor het model wordt opgesteld.
  • Formuleer een criterium zo SMART mogelijk (Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden). Bijvoorbeeld: formuleer niet: ‘De tekst moet niet te klein zijn’, maar: 'De tekst moet minimaal een fontgrootte van 10pt hebben’.
  • Formuleer een criterium enkelvoudig. Een voorbeeld van een samengesteld criterium is: 'Het leermateriaal is te bekijken op een reguliere PC, Mac of tablet en de tekst moet minimaal een fontgrootte van 10pt hebben'. Maak hier twee enkelvoudige criteria van: ‘Het leermateriaal is te bekijken op een reguliere PC, Mac of tablet' en 'De tekst moet minimaal een fontgrootte van 10pt hebben'.
Je kunt heel veel mooie criteria opstellen, maar zo'n enorme lijst schrikt ook af. We moesten er dus nog eens kritisch naar kijken: wat moet er echt in?
Marloes van den Broek

3. Bepaal het gewicht per criterium

Het belang van de verschillende criteria hangt af van de context. Meestal hoeft een leermateriaal niet aan álle criteria te voldoen om toch van voldoende kwaliteit te zijn. Hierover ga je als projectgroep samen in gesprek. Deel de criteria in verschillende categorieën in, afhankelijk van hun relatieve 'gewicht'. Geef aan of een criterium een eis is ('must have'), of een wens ('nice to have').

  • Een criterium is een eis wanneer leermateriaal per se aan het criterium moet voldoen om als 'kwalitatief goed' te worden aangemerkt.
  • Een criterium is een wens wanneer leermateriaal niet verplicht aan het criterium moet voldoen, maar het wel mooi meegenomen is wanneer dit wel het geval is.

4. Formuleer een procedure per criterium

Met alleen het formuleren van criteria ben je er nog niet; ze moeten ook controleerbaar zijn. Probeer met elkaar een procedure te formuleren waarmee een criterium kan worden nagegaan. In eerste instantie is het voldoende om alleen voor de criteria die gelden als eisen een procedure te formuleren.

Een voorbeeld: een criterium kan zijn 'De tekst bevat geen spelfouten'. Je kunt ervoor kiezen om de tekst hierop volledig te laten controleren. In de praktijk kost dat misschien te veel tijd. Een mogelijke procedure is dan: 'Neem een willekeurige steekproef van één pagina. Wanneer die pagina geen spelfouten bevat, wordt aan het criterium voldaan.'

We stellen vrij basale eisen aan materiaal, zo mag het geen spelfouten bevatten. Daarnaast zijn er een aantal vakinhoudelijke en didactische punten waarop we materiaal beoordelen. Zo moet het materiaal de voorkennis van de student stimuleren en moet zijn aangegeven bij welke leerdoelen het aansluit.
Danny Plass