Conclusies en resultaten project Nieuwe scoreregel voor digitale toetsen

Praktische bruikbaarheid scoreregel

In het project is een groot aantal analyses uitgevoerd om te kunnen vaststellen of de scoreregel High Speed High Stakes (HSHS) toepasbaar is in digitale toetsing. Bij deze scoreregel geven snelle, goede antwoorden hoge scores en snelle, foute gokken sterke negatieve scores. De scoreregel helpt bij het oplossen van een klassieke toetsprobleem: de snelheid en correctheid van antwoorden tegen elkaar afzetten. De analyses zijn gedaan op scores uit oefenvolgsystemen met de HSHS-regel.

Verhoging validiteit digitale toetsing

Alles wijst er op dat de HSHS-scoreregel een valide weergave geeft van vaardigheden zoals statistiek. Bij alle onderzochte typen oefenvolgsystemen is een hoge samenhang gevonden tussen de HSHS-scores en scores op toetsen die dezelfde vaardigheid meten met een andere scoreregel. In veel gevallen presteert de HSHS-regel zelfs beter dan de traditionele ‘som-scoreregel’ terwijl de betrouwbaarheid gelijk is. Dat geldt zowel in een adaptieve als in een niet-adaptieve toetsomgeving.

Geen invloed individuele verschillen

Individuele verschillen lijken geen rol te spelen bij de prestaties van de HSHS-scoreregel. Er was geen verschil in HSHS-scores tussen personen die meer of minder gevoelig zijn voor prestatiedruk en tussen mensen die zichzelf wel of niet zien als risk-taker (geneigd tot risico nemen, gokken). Dit kan erop wijzen dat de invloed van gokvaardigheid op toetsscores kan worden teruggebracht met de HSHS-regel.

HSHS-scoreregel goed toe te passen

In oefenvolgsystemen de Rekentuin en de Statistiekfabriek bleken universiteitsstudenten en leerlingen uit het primair onderwijs goed in staat om de scoreregel toe te passen. Dit was het geval als ze eerst een aantal maal konden oefenen met de items en er duidelijk sprake was van een oefensessie in plaats van een summatieve toetssituatie. De korte feedbackloop in het oefenvolgsysteem hielp hierbij: ze konden namelijk direct zien wat de gevolgen waren van de antwoorden die ze gaven.

Projectresultaten

• Eindrapportage project Nieuwe scoreregel voor digitale toetsen  (pdf)
• Artikel High Speed High Stakes Scoring Rule - Uitkomsten van onderzoek naar de toepasbaarheid van HSHS-scoreregel in digitale toetsing

Meer informatie

Het project van de Universiteit van Amsterdam was onderdeel van het SURF-programma Toetsing en Toetsgestuurd Leren. Wilt u aan de slag met de nieuwe scoreregel HSHS voor digitale toetsen? Neem dan contact op met projectleider Sharon Klinkenberg (Universiteit van Amsterdam), e-mail: s.klinkenberg@uva.nl.