Conclusies en resultaten project AdaPT, adaptieve voortgangstoetsing
Computergestuurde adaptieve voortgangstoetsing in de geneeskunde is goed mogelijk en draagt bij aan kwaliteitsverbetering, blijkt uit project AdaPT. De geïndividualiseerde, automatisch samengestelde toetsen kunnen op ieder gewenst moment worden afgenomen en zijn zeer efficiënt.
Adaptieve toets ontwikkeld en getest
In het project AdaPT is een adaptieve voortgangstoets ontwikkeld, op basis van een itembank met meerkeuzevragen die de samenwerkende universiteiten van Amsterdam (VU), Groningen, Leiden, Maastricht en Nijmegen sinds 2005 jaarlijks gebruiken. Deze toets is getest op de vijf locaties in experimenten met masterstudenten. Daarbij is gebruik gemaakt van het toetssysteem Questify van Cito. Bij studenten is een vragenlijst afgenomen.
Geïndividualiseerde, automatisch samengestelde toetsen
Bij een adaptieve toets krijgt de student een reeks vragen voorgelegd die naarmate de reeks vordert steeds beter passen bij het vaardigheidsniveau van de student. Zo’n geïndividualiseerde, automatisch samengestelde toets kan op ieder gewenst moment worden afgenomen. Door de afstemming op het niveau van de student kan een adaptieve toets zeer efficiënt zijn. Er zijn namelijk minder vragen nodig.
Verbetering kwaliteit toetsen
Uit verschillende bevindingen blijkt de goede kwaliteit van de ontwikkelde toets:
- Staf en studenten oordelen positief. Zij vinden de toets minder moeilijk en de score informatiever. De score komt ook beter overeen met hun verwachting.
- Er zijn hoge correlaties tussen scores op de adaptieve toets en de papieren toets.
- De adaptieve toets blijkt veel efficiënter: studenten maken de adaptieve toets een stuk sneller.
- De betrouwbaarheid van de score is vergelijkbaar met die van een twee keer zo lange papieren toets.
Voordat operationalisering van de projectresultaten mogelijk is, moeten enkele knelpunten en vragen opgelost zijn. Adaptieve toetsing blijkt vooralsnog alleen mogelijk voor de masterfase en de huidige itembank is nog te klein en moet substantieel uitgebreid worden. Vervolgonderzoek en -ontwikkeling is nodig om de vragen te beantwoorden en te werken aan het oplossen van de knelpunten.
Projectresultaten
Toetsing en Toetsgestuurd Leren
Dit project is uitgevoerd door de Universiteit Maastricht in samenwerking met Cito. Het project maakt onderdeel uit van het programma Toetsing en Toetsgestuurd Leren.