Data van buitenaardse proporties

De Europese satelliet Sentinel-5P meet de luchtkwaliteit op aarde vanuit de ruimte. Aan boord bevindt zich het Nederlandse meetinstrument Tropomi, een van de meest geavanceerde ruimtevaartprojecten ooit van Nederlandse bodem. SRON werkt samen met SURF voor de opslag en analyse van alle data die dit oplevert.

“Het begon allemaal met een helpdesk-ticket. Een medewerker van SRON had een vraag over datamanagement. Omdat hij gedurende een periode van 7 jaar maar liefst 1.2 petabyte aan data op zich af zag komen. Dit getal heeft hij inmiddels flink naar boven bijgesteld.” Aan het woord is SURF’s Natalie Danezi. Zij vertelt hoe de lancering van een satelliet een bijzonder hechte samenwerking met het in Utrecht gevestigde instituut voor ruimteonderzoek opleverde.

Half oktober 2017 werd vanuit het Siberische Plesetsk de Europese Sentinel-5P satelliet met succes in een baan rond de aarde gebracht. Aan boord bevindt zich Tropomi (Tropospheric Monitoring Instrument), een Nederlands instrument dat op ongeveer 800 kilometer hoogte met ongekende precisie wereldwijd de luchtkwaliteit en verspreiding van broeikasgassen in kaart brengt. Tropomi’s 15 rondjes per dag produceren een flinke zwik aan informatie, zo’n 40 gigabyte per omwenteling. Om die wetenschappelijke data goed te kunnen analyseren en snel te verwerken, moest SRON op zoek naar uitzonderlijke capaciteit en rekenkracht. Zo kwam het instituut in 2015 bij SURF terecht. Senior-adviseur Natalie Danezi - inmiddels al ruim 5 jaar werkzaam bij SURF - is vanaf het begin intensief bij dit ambitieuze project betrokken geweest.

Tientallen gigabytes per seconde

Danezi vertelt: “SURF heeft bij universiteiten, UMC’s en onderzoeksinstellingen de reputatie een betrouwbare partner te zijn die goed met deze grote hoeveelheden data omgaat. Bovendien leveren wij de consultancy, mankracht en infrastructuur waarmee wij naar flexibele, schaalbare oplossingen kunnen zoeken. Zijn die oplossingen eenmaal gevonden, dan blijven we tijdens de hele cyclus - van verwerking tot en met archivering - betrokken bij een project.”

“SRON had een goed beeld van wat zij nodig had,” zo vervolgt Danezi, “maar vroeg zich af hoe men daar moest komen. Dat was best een uitdaging, omdat wij vanaf een leeg canvas een passend framework moesten bedenken. De data komen uit verschillende locaties en de verwerkte resultaten moeten op tijd naar alle partners worden doorgestuurd. Welke componenten willen we met elkaar verbinden? Welke set aan systemen zetten we daarbij in? En hoe gaan we daar zo efficiënt mogelijk mee om? Na intensief overleg en vele uren programmeren, ontstond onze huidige high-throughput dataprocessing-dienst. Dit is een schaalbare Grid-faciliteit, een onderdeel van de nationale e-infrastructuur, waarmee het mogelijk is om onafgebroken data te verwerken met snelheden van tientallen gigabytes per seconde.”

Met spanning werd gewacht op de eerste beelden en analyses

“Het testen hebben we gedaan met de data van Sciamachy, het oudere broertje van Tropomi. Daarna was het zaak om bij het gekozen cluster ervoor te zorgen dat alle capaciteit binnen de strikte deadlines optimaal beschikbaar is. En dat er op deze kritieke momenten bijvoorbeeld geen onderhoud plaatsvindt,” zegt de SURF-adviseur lachend.

Na de lancering op 13 oktober werd met spanning gewacht tot ‘first light’, het eerste moment waarop duidelijk werd dat Tropomi daadwerkelijk bruikbare gegevens produceert. Deze mijlpaal vond plaats op 18 november 2017. “Dat was best spannend, want het systeem is zo ingericht dat alle data automatisch worden verwerkt. Daar komt geen enkele handeling van gebruikers aan te pas. Gelukkig waren vrijwel direct de eerste beelden en analyses beschikbaar.”

Technische uitdagingen

Slechts twee maanden later, tijdens het schrijven van dit artikel, staat de teller bij SURF inmiddels al op 31 terabytes aan opgeslagen data en op 230.000 gebruikte CPU-uren. Een terabyte aan informatie komt ongeveer overeen met alle tekst uit een grote universiteitsbibliotheek; een petabyte is 1000 terabytes. Toch zijn het niet alleen deze getallen of de technische uitdagingen die het Tropomi-project voor Danezi en collega’s zo bijzonder maken. “Wij leveren met onze IT-diensten en kennis een bijdrage aan wetenschappelijk onderzoek dat hopelijk een positieve impact heeft op het milieu. Dat zorgt voor extra motivatie", aldus Danezi.

De betrokkenheid van SURF’s Gridteam bij data van ‘buitenaardse’ proporties stopt echter niet bij Tropomi. “De ervaringen die wij met Tropomi opdoen, plus het werk dat we bijvoorbeeld voor ASTRON’s lage-frequentietelescoop LOFAR uitvoeren, dienen als goede basis voor SKA (Square Kilometre Array). Dit is een project voor ’s werelds grootste radiotelescoop dat vanaf 2020 gaat draaien, maar waarbij we op de achtergrond al betrokken zijn. SKA en LOFAR hebben dezelfde soort uitdagingen rond grootschalige dataverwerking en –opslag. Onze ervaring kan van grote waarde zijn voor de grootste producenten van wetenschappelijke data ter wereld.”

Satellietinstrument Tropomi

Tropomi is een satellietinstrument van Nederlandse makelij dat nauwkeuriger dan ooit de luchtkwaliteit onderzoekt. Het is het enige instrument aan boord van de Sentinel-5P precursor satelliet, die onderdeel uitmaakt van het Europese aardobservatieprogramma Copernicus. Het betreft een samenwerking tussen Airbus Defence and Space Netherlands, KNMI, SRON en TNO, in opdracht van het Netherlands Space Office (NSO) en de European Space Agency (ESA).