Zo verhuisde digitaal erfgoed naar een open en transparant Kubernetes-platform

Ingescande oorlogsdagboeken en historische foto’s, maar ook videogames en digitale kunst: digitaal erfgoed is voor een breed publiek belangrijk. Archieven, musea, bibliotheken en andere organisaties die collecties beheren met digitaal erfgoed werken in het Netwerk Digitaal Erfgoed samen aan één gezamenlijk doel: geschiedenis digitaal toegankelijk maken voor iedereen.

Containers en Kubernetes voor eenvoudiger migratie

Samen met ontwikkelaars van de CLARIAH onderzoeksinfrastructuur voor geesteswetenschappen begon NDE al in 2020 met het gebruik van containers en Kubernetes. Een container is een schil rond een applicatie – of een onderdeel daarvan – die ervoor zorgt dat deze overal kan draaien. Kubernetes is een grotendeels open-sourceplatform dat grote aantallen containers automatisch uitrolt, beheert en schaalt tot de juiste capaciteit.

Met deze architectuur ontstaat een scheiding tussen de applicaties en de onderliggende infrastructuur. Zo kunnen containers verhuisd worden naar een andere infrastructuurleverancier, wat de kans op vendor lock-in vermindert. Het team ontwikkelde het platform voor NDE-diensten op de Kubernetes-infrastructuur van een Amerikaanse aanbieder, die in 2020 erg vooruitstrevend was met het faciliteren van containertechnologie.

Inmiddels hebben meer dan 200 beheerders van cultureel erfgoed in Nederland zich aangesloten bij de diensten van NDE, variërend van Gemeentemuseum Het Hannemahuis tot de Maastricht University Library. Meijers zegt hierover: “Een archief is een totaal andere instelling dan een bibliotheek. Ze hebben ieder verschillende doelstellingen en intern heel andere processen.” Daardoor was een sterk versnipperd applicatielandschap ontstaan.

Het NDE wilde juist graag standaardiseren en richtte de samenwerking daarom op de publicatielaag die het uiteenlopende bronmateriaal ontsluit. Op die manier hoeven de bronhouders hun informatieverwerking niet aan te passen, terwijl erfgoedonderzoekers toch gemakkelijk de informatie kunnen vinden en verbinden.

Migreren naar een grotendeels open-sourceomgeving bij SURF

NDE ontwikkelde het Datasetregister, dat als een wegwijzer of catalogus laat zien waar erfgoeddatasets te vinden zijn. Ook werd het Termennetwerk opgezet, dat zoeken in decentrale terminologiebronnen mogelijk maakt. Meijers: “Zo kunnen we informatie met elkaar verbinden, precies waar we met de Nationale Strategie Digitaal Erfgoed naartoe werken.”

Hoewel de containertechnologie het makkelijk maakt om applicaties te migreren, stuitte De Boer op uitdagingen. “SURF deed sommige dingen net iets anders en vaak ook wat beter. Daarom hebben we ingrijpende wijzigingen moeten aanbrengen, ook aan onze infrastructurele code. Dat waren eigenlijk allemaal verbeteringen.” Hij heeft veel gehad aan de ondersteuning van SURF. “Zelfs de samenwerking met SURF hebben we open-source aangepakt, met GitHub-repositories, zodat anderen ook gebruik kunnen maken van onze ervaringen.”

Kubernetes-infrastructuur steeds verder verrijkt

De Boer ziet dat SURF volop werkt aan nieuwe toevoegingen aan de Kubernetes-infrastructuur. Zo heeft hij zelf wel behoefte aan betere back-upfaciliteiten en meer inzicht in het gebruik van resources met bijbehorende meldingen. “Met een paar van mijn wensen is SURF al bezig.”

Meijers ziet ook mogelijkheden om meer SURF-diensten voor NDE in te zetten, zoals de automatisering van betrouwbaar toegangsbeheer met Identity & Access Management. Een access broker, zoals SURF die ontwikkelt in het SSHOC-NL-programma, kan afgeschermde toegang verlenen aan collecties die bijvoorbeeld vanwege de AVG of het auteursrecht maar deels bereikbaar zijn. Zulke toevoegingen helpen onderzoekers, om op het NDE-platform betrouwbare, veilige en zo volledig mogelijke antwoorden te vinden op hun vragen.

Tekst: Thijs Doorenbosch 
Foto’s: Sicco van Grieken