Verslag challenge 3 - Show & share your data

Binnen de leeromgeving van de toekomst spelen data namelijk een belangrijke rol. Als de leeromgeving van de toekomst modulair wordt opgebouwd, hoe vindt (studie)data-uitwisseling tussen applicaties dan plaats? Voor onderwijsinstellingen is het belangrijk om te weten hoe leveranciers omgaan met vraagstukken over data-eigenaarschap, uitwisseling, standaarden, transparantie van algoritmes, ethiek en privacy/beveiliging.

Zes leveranciers zijn de uitdaging aangegaan en hebben hun educatieve applicatie gekoppeld aan de SURF testomgeving DLO. Omdat de Challenge day op 12 maart vanwege het Coronavirus niet door kon gaan, doen de leveranciers verslag in videopresentaties (link opnemen). Op 4 juni zijn zij hier in een webinar over bevraagd door een panel van deskundigen.

Hieronder vind je een overzicht van de belangrijkste bevindingen uit deze challenge en een kort verslag van de Q&A gesprekken met alle leveranciers.

Bevindingen

• Leveranciers gebruiken LTI om hun educatieve applicatie te embedden in een LMS. Deze standaard zorgt ervoor dat data uitgewisseld kan worden tussen applicaties, en dat de functionaliteit van een applicatie gebruikt kan worden binnen het LMS.
• De nieuwste versie van deze standaard is LTI Advantage (1.3) heeft een aantal voordelen ten opzicht van de oudere versie. Zo is de datauitwisseling beter beveiligd en zijn er extra services die gemoduleerd aangeboden kunnen worden. De leverancier Grasple heeft hier ervaring mee opgedaan en licht de mogelijkheden toe in hun videopresentatie (link opnemen).
• Er zitten ook nadelen aan een LTI-koppeling. Via LTI-koppelingen worden er geen gegevens terug gegeven, en dat kan een probleem zijn bij het verwijderen van bestanden of accounts. Hierover moeten dan aparte afspraken gemaakt worden. Itslearning, een LMS-leverancier die meedeed aan de challenge gaf aan dat zij dergelijke afspraken hebben met alle leveranciers die zij via LTI koppelen aan hun product. Maar het is belangrijk dat onderwijsinstellingen zich realiseren dat er ook zulke afspraken gemaakt moeten worden met leveranciers die door de onderwijsinstelling gekoppeld worden aan het LMS.
• Presentation2go gaf als voorbeeld van het bovenstaande probleem dat er in een LMS een course wordt verwijderd waarin video’s opgenomen zijn. Presentation2go krijgt hiervan geen melding, en de video’s blijven dus in hun systeem beschikbaar. Voor de studenten en docenten die via het LMS werken, zijn ze echter niet meer vindbaar. Presentation2go zou hiervan een melding willen ontvangen. Echter: het automatisch laten verwijderen van bestanden via een LTI-melding is ook geen goed idee. Een onderwijsinstelling heeft namelijk ook bewaarplicht, bijvoorbeeld als het gaat om video’s waarop studenten beoordeeld zijn. Belangrijk is daarom dat er goede procedures komen. Instellingen moeten hierin ook hun verantwoordelijkheid nemen. Momenteel zijn hierbij nogal wat open eindjes.
• Scorion heeft de standaard OOAPI geïmplementeerd, een open standaard voor het delen van onderwijsdata. Scorion gebruikt OOAPI als een koppelplatform zodat ze op een gestandaardiseerde wijze gebruikersgegevens in kunnen voeren en niet voor alle onderwijsinstellingen maatoplossingen hoeven te verzorgen.
• Aan de challenge namen twee leveranciers deel die zich voornamelijk richten op wiskunde en statistiek: SOWISO en Grasple. Beide leveranciers gaven aan dat er behoefte is aan een standaard voor wiskunde-opgaven zodat deze daadwerkelijke open uitgewisseld kunnen worden. Grasple is aan het onderzoeken of ze hiervoor een opzet kunnen maken.
• Als het om data gaat dan is er algauw groot verschil tussen ‘data die je kan verzamelen’ en ‘data waar je werkelijk iets mee doet’. In de AVG is vastgelegd dat data verzamelen doelgericht en proportioneel moet zijn. D-learning schets het dilemma dat nieuwe gebruikers van Xerte, in eerste instantie het liefst alles willen vastleggen. Later komen ze er dan achter dat ze die data helemaal niet gebruiken. Het is daarom van belang om vooraf vast te stellen wat je wilt, waarbij D-learning adviseert om je te richten op het verbeteren van onderwijsmateriaal, en dat kan met geanonimiseerde data.
• Alle deelnemende leveranciers geven aan dat eigendom van data bij instellingen ligt. Er zijn wel verschillen in de mate waarin de gebruikers (studenten) zelf hier zeggenschap over hebben. Verzoeken tot het verwijderen van data lopen altijd via de onderwijsinstelling en moeten goed onderbouwd zijn. Onderwijsinstellingen kunnen hier ook niet altijd aan voldoen, want soms heeft de onderwijsinstelling de plicht om data te bewaren.
• Transparantie over de wijze waarop met data wordt omgegaan en over algoritmes, wordt door onderwijsinstellingen heel belangrijk gevonden. De deelnemende leveranciers onderschrijven dat belang.
• Er zijn verschillende initiatieven rondom het onderzoeken van mogelijkheden van voorspellende waarde bij de deelnemende leveranciers en hun partners. In de praktijk blijkt dit erg lastig te zijn, en wordt het door deze partijen nog niet ingezet.

Parantion – Scorion

Het eerste vraaggesprek is met Roel Smabers en Bas Aalpoel van Parantion. Zij hebben de OOAPI-standaard geïmplementeerd binnen Scorion, een platform voor persoonlijk onderwijs. Hiermee kunnen ze op gestandaardiseerde wijze gebruikersgegevens invoeren. Roel Smabers geeft aan dat LTI voor hun minder interessant is omdat Scorion persoonlijk onderwijs ondersteunt, en LTI meer gericht is op onderwijs aan groepen studenten via modulen of courses. Scorion is een individueel portfolio, dat in eerste instantie ontwikkeld is voor medische opleidingen, waarbij juist in time-onderwijs belangrijk is. Met de OOAPI-standaard kan Parantion de stap maken van maatwerk per instelling naar een generiek koppelplatform.

In de discussie worden ze bevraagd over het eigenaarschap van data. Hoe gaat dat in de praktijk in zijn werk? Roel Smabers geeft aan dat hierover eigenlijk nooit discussie is met instellingen, omdat het heel simpel is: alle data is eigendom van de instelling, en dit wordt vastgelegd in een overeenkomst. Als een eindgebruiker -een student - iets wil met deze data, dan loopt dit altijd via de onderwijsinstelling. De onderwijsinstelling bepaalt ook welke dashboards er worden getoond, en welke algoritmes hiervoor worden gebruikt. Deze zijn altijd transparant. Via het platform kan je de voortgang van een individuele student zien, maar ook van een groep of een cohort. In principe is het zo dat als data beschikbaar is, ze ook – altijd in overleg met de onderwijsinstellingen – manieren kunnen vinden om deze te tonen.

SOWISO

SOWISO, een leer-, oefen- en toetsomgeving voor hoger onderwijs wiskunde en statistiek, heeft in deze challenge de standaard LTI geïmplementeerd. Hierdoor is het mogelijk om het platform te integreren binnen een LMS en gegevens over gebruikers binnen te halen, en om de score van studenten terug te koppelen naar het LMS, en uiteindelijk ook naar het SIS. Het panel vraag hoe het zit met ‘privacy bij design’. Cohen geeft aan dat studenten die inloggen toestaan dat docenten hun volgen; ze vragen daar geen toegang voor. Omdat studenten toegang hebben tot precies dezelfde gegevens – maar dan alleen gefilterd voor zichzelf – kunnen ze wel goed zien welke informatie een docent heeft. Maar gebruikers hebben hier geen controle over.

Het panel vraagt of SOWISO ook de mogelijkheid heeft om voorspellende waarde vanuit data af te leiden. Cohen geeft aan dat ze hier research naar doen met docenten, maar dat het nog niet gelukt is om uit leergedrag voorspellingen af te leiden. Het platform is bedoeld voor betavakken. Er wordt kant-en-klaar materiaal aangeboden en instellingen kunnen zelf materiaal maken en invoeren. Toetsen kunnen ook geïmporteerd worden via een import-functie en api’s. Dit werkt nog niet optimaal, omdat er dan maar een beperkt aantal vraagtypen beschikbaar is. Het zou goed zijn als er naast QTI – een standaard voor toetsen – ook een specifieke standaard voor wiskundetoetsen zou zijn.

itslearning

itslearing is een compleet learningmanagementsysteem. In deze challenge laten zij zien dat ze kunnen integreren met andere tools en ze hebben dit aangetoond door een koppeling met de testomgeving van SURF. In de praktijk koppelen zij aan roostersystemen, cijfersystemen en aan educatieve tools op basis van LTI. itslearning heeft een dashboard waarmee gebruikers gemakkelijk hun rechten kunnen managen. Zij kunnen ook aangeven dat ze vergeten willen worden. Het panel vraagt hoe dit dan werkt met LTI: worden de gegevens in de tools waarmee ook een LTI-koppeling gemaakt is dan ook gewist. Steven Threadgold geeft aan dat dit niet zo is. Zij maken afspraken met alle leveranciers waarmee zij een contract hebben afspraken over databeveiliging. Als een onderwijsinstelling zelf een applicatie koppelt via LTI, dan moet de instelling ook zelf voor deze afspraken zorgen. Het is belangrijk om dit zorgvuldig te doen, want dit gaat snel mis. Het verwijderen van gebruikers gaat dus niet automatisch, maar moet altijd via een verzoek. Erna Kotkamp uit het panel geeft aan dat zij het ook onwenselijk zou vinden als gegevens via een standaard ‘zomaar’ verwijderd zouden worden. Als onderwijsinstelling heb jij ook de plicht om sommige gegevens juist wel te bewaren. Het is dus een belangrijke verantwoordelijkheid van instellingen om met alle partijen goede afspraken te maken. De gegevens die verstuurd worden via api’s of LTI kunnen gemonitord worden. Het is echter teveel om alles continue in de gaten te houden. Daarom zoekt itslearning altijd naar mogelijkheden om het monitoren eenvoudig te houden. itslearning is geen eigenaar van de data, zij zorgen ervoor. De data blijft altijd van de onderwijsinstelling zelf.

D-learning met Xerte

D-learning biedt hosting en service voor het open source platform Xerte. Zij hebben de standaarden LTI en xAPI geïmplementeerd. LTI om het mogelijk te maken om Xerte modulen in een LMS te tonen. En xAPI om ervoor te zorgen dat gegevens over het studeergedrag van studenten – learning analytics - verzameld kunnen worden in een Learning Record Store (LRS), en getoond kunnen worden in een dashboard. Inge van Donkervoort en Tom Reijnders stellen in hun videopresentatie aan dat je al snel tegen privacy-issues oploopt bij learning analytics. Het panel ondervraagt ze hier over. Reijnders geeft aan dat het belangrijk is om te weten waarom je die gegevens verzameld. Hij geeft aan dat ze zich als leverancier concentreren op data die tekortkomingen in lesmateriaal naar voren brengen. Zij blijven weg van administratieve zaken (zoals registreren van uitval of aanwezigheid). Het gaat dus vooral om verbeteren van lesmateriaal en op het inzicht geven in hoe het bekeken is. Het dashboard is ingericht op ‘flipped classroom’ – het maakt gebruik van geanonimiseerde en geaggregeerde data. Als het instituut dat wil, dan kan de docent wel individuele gegevens van studenten zien, maar standaard staat het uit. De student zelf heeft hier geen zeggenschap in. Instellingen die starten met de tool, willen vaak zoveel mogelijk data verzamelen, maar later blijkt dan vaak dat veel data helemaal niet gebruikt wordt. En dat is in principe strijdig met AVG waarin dataverzameling altijd doelgericht moet zijn. Het panel vraagt of ze ook werken aan voorspellende data?  Tom Reinders geeft aan dat het moederbedrijf hier al een tijd mee bezig is, maar dat daar nog weinig voortgang in zit.

Presentation2go

Ook het videoplatform Presentation2go heeft LTI geïmplementeerd. Dit maakt het mogelijk dat studenten en docenten via het LMS werken met video’s; ze hoeven niet apart in te loggen, ze kunnen rechtstreeks via het LMS video’s uploaden, bekijken en opmerkingen op de tijdslijn zetten. Presentation2go slaat gegevens op over wie een video bekijkt, hoe lang een video bekeken wordt en wie welke opmerkingen erbij plaatst. In principe kunnen deze gegevens alleen bekeken worden door een beheerder en niet door de docent of student zelf. De voornaamste reden dat deze gegevens worden opgeslagen is om bij problemen te kunnen achterhalen wat en waar het misgegaan is. Instellingen zijn wel geïnteresseerd in hoe vaak video’s worden bekeken. Maar Oscar Vonder geeft aan dat deze informatie lang niet altijd betrouwbaar is; ja kan namelijk niet zien of een student ook echt oplet. Karianne Vermaas uit het panel geeft aan dat zij bij het learning analytics-experiment van SURF ook ervaren hebben dat het lastig is om te bepalen welke data nu precies wat zeggen. Een student die via Presentation2go inlogt kan altijd een rapport opvragen waarin staat welke data over hem of haar bekend zijn. De student kan dan ook een verzoek doen om deze data te wissen, maar moet daarvoor wel een goede reden hebben. Echter, als een student inlogt via het LMS bestaat deze mogelijkheid niet. Ook het opruimen van video’s is problematisch als het gaat om LTI. Het platform Presentation2go krijgt geen melding als er een course met video’s uit het LMS wordt verwijderd. Voor studenten zullen de video’s niet meer zichtbaar zijn, maar ze bestaan nog wel. De nieuwste versie van de standaard: LTI1.3 maakt het wel mogelijk om gegevens heen en terug te sturen – maar dat is een pull-systeem en dan moet je als leverancier telkens vragen of er iets veranderd is. Het mooiste zou zijn als er een automatisch een signaal doorgestuurd zou worden. Maar zoals in de discussie met Itslearning naar voren komt: je wil ook niet dat er zaken automatisch gewist worden, omdat je nu eenmaal ook een bewaarplicht hebt als onderwijsinstelling. In dit geval kan het dan gaan om video’s die studenten inleveren. Een oplossing hiervoor is niet zomaar voorhanden. Maar SURF kan deze input wel meenemen naar IMS, de organisatie die verantwoordelijk is voor de edu-standaarden.

Grasple

Grasple, een gebruiksvriendelijk maak, oefen- en toetsplatform voor wiskunde en statistiek, onderzocht wat de mogelijkheden van LTI1.3 en LTI Advantage zijn. Via een eerdere challenge van SURF hadden zij LTI al geïmplementeerd. De vernieuwde standaard voelt volgens hen veel volwassener. Het maakt gebruik van nieuwe webtechnologie en dit geeft meer mogelijkheden voor controle en maatwerk. De overstap van 1.1 naar 1.3 is groot, daar moet je wel de tijd voor nemen. Het panel vroeg naar hun ervaring in de Coronatijd. Thijs Gillebaart geeft aan dat de vraag naar online tentamineren via Grasple veel groter geworden is. Eerder was de afspraak dat het Grasple voor formatief toetsen ingezet zou. Dit vroeg dus om nieuwe afspraken met onderwijsinstellingen, bijvoorbeeld over bewaarplicht. Voor het online tentamineren worden geen LTI-integraties ingezet. Dit gaat via het Grasple platform in combinatie met bijvoorbeeld een proctoringsysteem. Grasple is voorstander van een open content model, maar loopt ertegenaan dat uitwisseling van wiskunde-opgaven niet gemakkelijk gaat. Vaak worden opgaven in een soort ‘sandbox’ gemaakt, waarin met code gewerkt wordt, en het is lastig om ongestructureerde code te integreren. Grasple werkt nu aan een interface om hier meer structuur aan te geven, waarbij ze voortbouwen op standaarden die er al zijn. Door spelenderwijs tegen uitdagingen aan te lopen, werken ze aan een open taal voor het vastleggen van wiskundige opgaven.