Resultaten en conclusies stimuleringsregeling Uitwisseling tussen toetssystemen

Toetsvragen uitwisselen? Daar wordt aan gewerkt!

Het ontwikkelen van goede toetsvragen is arbeidsintensief. Niet voor niets zijn er steeds meer initiatieven van instellingen die gezamenlijk itembanken opbouwen. Ook zijn er landelijke initiatieven, zoals bij de lerarenopleidingen en in de verpleegkunde. Samen toetsvragen ontwikkelen scheelt tijd en geld en draagt bij aan de kwaliteit van items.

Verschil in toetssoftware en interoperabiliteit

In de praktijk wordt samenwerking bemoeilijkt doordat instellingen niet allemaal dezelfde toetssoftware gebruiken. Gevolg daarvan is dat een instelling zich voor de keuze ziet: extra licenties afsluiten voor andere toetssoftware (die van het samenwerkingsverband) met alle bijkomende kosten en beheer van dien, of de items importeren in het eigen toetssysteem. Dit laatste blijkt ingewikkeld. Eenmalig importeren van toetsvragen is goed haalbaar. Het wordt echter ingewikkelder als de toetsresultaten van elke instelling terug moeten stromen naar de gezamenlijke itembank; iets dat vanuit het oogpunt van toetskwaliteit zeer gewenst is. Wat ook lastig blijkt te zijn is het importeren van wijzigingen op toetsvragen.

Twee experimenten

SURF wil instellingen graag ondersteunen om deze problematiek aan te pakken. In twee experimenten, MathConverter en ToetsWisselWerkt, is onderzocht of het uitwisselen van toetsvragen tussen twee toetsystemen gerealiseerd kon worden. In deze experimenten is op twee verschillende manieren gewerkt: in het project ToetsWisselWerkt is onderzocht welke aanpassingen nodig zijn in twee toetssoftwarepakketten (Surpass en RemindoToets) om de blijvende uitwisseling van toetsitems en -resultaten tot stand te brengen. Het project MathConverter heeft een oplossing ontwikkeld waarmee het grootste deel van toetsitems vanuit de ene toetssoftware kunnen worden omgezet naar een andere. De resultaten van de experimenten zijn bemoedigend, maar laten ook zien dat er nog veel werk aan de winkel is.

ToetsWisselWerkt

De aanleiding voor het project ToetsWisselWerkt van hogeschool Saxion is de toets- en vragenbank Toets&Leer. Hierin ontwikkelen en delen vijf hogescholen toetsen in de toetssoftware RemindoToets. Saxion wil summatieve toetsen liever afnemen in de eigen toetsomgeving met Surpass. ToetsWisselWerkt is een poging om data van het ene toetssysteem in het andere te transporteren en weer terug. Projectleider Ernest Nuijten van ToetsWisselWerkt zegt: "De crux van ToetsWisselWerkt is niet primair om toetsvragen in de eigen omgeving te krijgen, maar om – via samenwerking – een kwalitatief goede database te ontwikkelen. Toetsinformatie pompen we terug in de database; deze informatie gebruiken we om de toetsvragen aan te passen en te verbeteren. We hopen technische belemmeringen weg te nemen die instellingen ervan weerhouden om mee te doen."

Toetsvragen in het juiste mapje

In theorie is het uitwisselen van toetsitems en toetsresultaten mogelijk, mits de gebruikte softwarepakketten dezelfde standaard ondersteunen. De internationale standaard QTI 2.1 is speciaal ontwikkeld voor de uitwisselbaarheid van toetsitems tussen toetssystemen. In de praktijk blijkt dit echter geen ‘plug&play’ oplossing te zijn. Uit het experiment bleek dat data overzetten van het ene toetssysteem in het andere, in dit geval van RemindoToets naar Surpass, leidt tot een ‘scheve’ output. Dat komt doordat technische en klantspecifieke inrichting van beide toetssystemen verschillend zijn, bijvoorbeeld de wijze waarop de vragen al dan niet in mappen worden opgeslagen kan per instelling verschillend zijn. De uitdaging is om vragen zodanig te taggen dat ze bij het converteren naar een eindtoetsomgeving in het juiste mapje vallen. Daarnaast bleek dat de converteerstandaard QTI 2.1 beperkte mogelijkheden biedt om de lay-out van de toetsvragen te bepalen, terwijl vormgeving erg belangrijk is voor een goede toetsvraag. Ook werden niet alle mediasoorten ondersteund. De conclusie is dat het volgen van de QTI 2.1-standaard alleen niet voldoende is.

Kentering rol leveranciers

Saxion heeft onderzocht welke gaps tussen de systemen samenhangen met hun eigen toetssysteem Surpass en welke generiek van aard zijn. Al met al is projectleider Nuijten positief over het project. "Er kan veel, de oplossing ligt erin dat je onderling goede functionele afspraken maakt over het neerzetten en ophalen van data," zegt hij. Essentieel is de rol van de leveranciers. Die stonden in eerste instantie niet te springen om samen te werken met de concurrentie, maar gaandeweg kregen ze volgens Nuijten in de gaten dat uitwisseling van toetsvragen de toekomst heeft. De kentering die dit tot gevolg had, is wat hem betreft een van de grote winsten van het project omdat dit er aan bijdraagt dat ook de uitwisseling met andere toetssoftware dichterbij komt. En dat het dus voor andere instellingen aantrekkelijker wordt om aan te sluiten op Toets&Leer. Ook andere samenwerkingsverbanden kunnen hun voordeel doen met deze ervaringen.

MathConverter: eigen programmeerstijl

Ook André Heck, projectleider van MathConverter, stuitte op verschillend gestructureerde toetsdata. MathConverter is een tool die de Universiteit van Amsterdam heeft ontwikkeld om toetsitems uit het wiskunde-toetsyssteem MapleTA te converteren naar het pakket SOWISO. Op voorhand had Heck er een hard hoofd in, maar de tool bleek een succes. De omzetting werkte goed en de conversiemethode bleek breed inzetbaar. Met wat handmatige nabewerking kon negentig procent van de toetsvragen worden overgezet. "Veel wiskundigen hebben een eigen stijl van programmeren," zegt Heck. "De persoonlijke voorkeuren van verschillende faculteiten die in het project samenwerkten, bemoeilijken de uitwisseling van toetsvragen. Je hebt kennis van beide systemen nodig. Maar als je wat minder ingewikkelde code gebruikt, zoals onze samenwerkingspartners van de Erasmus Universiteit, krijg je het overgrote deel van de toetsvragen probleemloos geconverteerd. "MathConverter was een klein project, maar de impact bleek groter dan verwacht. Andere faculteiten toonden interesse en de gebruikersgroep van SOWISO groeide flink. Heck: "We kwamen verder dan ik voor mogelijk hield. We zijn magneten gebleken."

Hoe nu verder?

Het enthousiasme en het olievlekeffect dat beide experimenten veroorzaakten, is hoopgevend en laat ook de waarde van uitwisselbaarheid zien. Zoals uit de experimenten blijkt, vereist de conversie voorlopig nog een flinke portie maatwerk. De huidige standaard voor uitwisseling van toetsitems en -resultaten QTI 2.1 biedt weliswaar enige houvast, maar is nog lang geen oplossing waarmee ‘plug&play’ gewerkt kan worden. QTI 3.0 is in ontwikkeling en zal meer een plug&play-karakter krijgen. Het zal naar verwachting nog enige jaren duren voordat deze standaard er is. Ook zal deze 3.0-versie geen oplossing bieden voor het feit dat de technische en instellingspecifieke inrichting van applicaties en instellingen verschillend is. Er zal altijd extra inspanning ter overbrugging van die gap nodig zijn. Een eenmalige conversie, zoals is bewerkstelligd met MathConverter, is relatief gemakkelijk te realiseren. Deze aanpak heeft echter als nadeel dat deze niet voorziet in het onderhoud van gezamenlijke itembanken. Om dat mogelijk te maken is meer nodig. Het zou jammer zijn als samenwerking tussen instellingen aan gezamenlijke toets- en vragenbanken strandt op de uitwisselingsproblematiek. Daarom wil SURFnet in 2016 nader onderzoeken of er alternatieven zijn om de samenwerking aan itembanken te vergemakkelijken, daarnaast houdt SURFnet de vinger aan de pols rondom de ontwikkeling van de QTI 3.0-standaard.

Over de stimuleringsregeling Uitwisseling tussen toetssystemen

In september 2014 lanceerde SURF de stimuleringsregeling 'Uitwisseling tussen toetssystemen'. Er kwamen vijf projectvoorstellen binnen, waarvan er twee resulteerden in een experiment. De regeling heeft plaatsgevonden in het kader van het project Toetsing en toetsgestuurd leren dat sinds 2015 onderdeel uitmaakt van het innovatieprogramma Onderwijs op maat.