Nobelprijswinnend onderzoek naar zwaartekrachtgolven maakt gebruik van het Grid
High-performance dataprocessing
Wil je grote hoeveelheden data verwerken en opslaan? Ons team van experts ondersteunt je bij het gebruik van onze high-throughput dataverwerkingssystemen en opslagoplossingen.
Voor grote, gestructureerde datasets
Onze high-throughput dataprocessing-diensten zijn geschikt voor projecten die de verwerking van grote, gestructureerde datasets vereisen. Zoals instrumentendata van sensoren, DNA-sequencers, telescopen en satellieten.
Maak gebruik van dataprocessing-services voor:
- Samenwerken aan een gedeelde set van data en software
- Parallelle verwerking van grote hoeveelheden gegevens, van vele terabytes tot petabytes
- Verwerking van grote onafhankelijke simulaties en workflows
- Geoptimaliseerd datatransport dankzij een schaalbaar netwerk met hoge bandbreedte
- Eenvoudige toegang tot schaalbare oplossingen voor dataopslag
Praktijkvoorbeelden uit ‘big science’
Diverse omvangrijke (inter)nationale onderzoeksprojecten hebben hun eigen productie- en samenwerkingsplatform ingericht op onze dataprocessing-infrastructuur. Enkele voorbeelden:
- Internationale samenwerkings-hub voor Alzheimeronderzoek maakt uitwisselen van DNA-data mogelijk
- Data van buitenaardse proporties: satellietinstrument Tropomi meet luchtkwaliteit op aarde
- LIGO-Virgo: Nobelprijswinnend onderzoek naar zwaartekrachtgolven
- 3D-analysemodel voor risicoanalyse (TU Delft): ‘Hoe veilig zijn onze dijken?’
- Project MinE wil de genetische oorzaken opsporen van de dodelijke ziekte ALS. SURF zorgt voor opslag en analyse van de berg aan DNA die het project oplevert.
- Large Hardon Collider, de grootste en krachtigste deeltjesversneller ter wereld
- Radiotelescoop LOFAR: langetermijnopslag en data-analyse
- BBMRI: grote biobank die biosamples, beelden en data voor gezondheidsonderzoek vindbaar, toegankelijk en bruikbaar maakt
- Xenon: internationale onderzoeksamenwerking in de zoektocht naar donkere materie
Ondersteuning op maat
High-performance dataprocessing-projecten hebben ondersteuning nodig bij het verzenden, opslaan, ontsluiten en verwerken van grote hoeveelheden data. Wij hebben uitgebreide ervaring met alle aspecten van grootschalige gegevensverwerking. We bieden gespecialiseerde ondersteuning bij het bouwen van productieoplossingen op maat voor jouw onderzoekscommunity.
Dataprocessing-platforms
We hebben twee krachtige dataprocessing-platforms die voorzien in de verschillende behoeften:
Grid voor schaalbaarheid en samenwerking
Grid biedt een grenzeloos rekenpotentieel dankzij een keten van internationale clusters die via een snel netwerk met elkaar verbonden zijn. Deze clusters bevinden zich in datacenters over de hele wereld.
Voordelen van Grid:
- Toegang tot het Europese Grid voor gefedereerde dataverwerking
- Enorme verwerkingscapaciteit gericht op gestage productieprocessen
- Mogelijkheid om samen te werken met grote onderzoekscommunity’s op verschillende locaties
Platform voor meer flexibiliteit
Spider is een dynamisch, flexibel en naar behoefte aan te passen platform dat lokaal bij SURF wordt gehost. Het is geoptimaliseerd voor samenwerking en wordt ondersteund door een ecosysteem van tools waarmee data-intensieve projecten snel en eenvoudig kunnen worden opgestart.
Voordelen van het Spider-platform:
- Interactieve verwerking met gebruiksvriendelijke interface
- Privé-nodes en -clusters voor productie en beschikbaarheid op maat
- Samenwerken in een private en veilige projectomgeving
Tarieven
De tarieven voor deze dienst vind je in de brochure SURF Diensten en tarieven (pdf).
Technische specificaties
Dit zijn de specificaties van de dataprocessing-platforms van SURF in januari 2020. Ze geven een indruk van de kwaliteit en de capaciteit van onze faciliteiten.
| Platform | Grid | Spider |
|---|---|---|
| Aantal cores | 10.000+ | 10.000+ |
| Besturingssysteem | Linux CentOS 7.x 64bit | Linux CentOS 7.x 64bit |
| Workload manager |
gLite & DIRAC |
Slurm |
| Network uplink to external sources | 1200 Gbit/s | 1200 Gbit/s |
| Existing data | 10.000TB disk / 50.000TB tape | 10.000TB disk / 50.000TB tape |
| Non-shared node storage (scratch) max | 80GB per core / 11TB per node | 80GB per core / 11TB per node |
| Shared local storage | n/a | 250TB + |
| Remote storage | dCache | dCache/SWIFT/Archive/Cloud storage |
| Memory (RAM) max | 8GB per core / 1 TB per node | 8GB per core / 1 TB per node |
| Federated sites | worldwide | n/a |
| Private resources | n/a | project-tailored nodes & clusters |
| Type of jobs | Single-core / multi-core / whole-node | Single-core / multi-core / whole-node |
| Container support | Singularity | Singularity |
| Security en privacy | Standard | Customizable |
Meer (technische) informatie over het gebruik van deze platforms vind je bij de gebruikersinformatie Grid en gebruikersinformatie Spider.
Aanvullende diensten
Onderzoeksdata opslaan
Onze diensten zijn verbonden met het centrale archief van SURFsara. Dit archief biedt je uitgebreide mogelijkheden om je onderzoeksdata op te slaan. Verder kun je de PID-dienst (Persistent Identifiers) gebruiken op data die opgeslagen staan op SURFsara-opslagdiensten. Wil je je data veilig en langdurig opslaan? Maak dan gebruik van onze Data Archive-dienst.
Visualisatie: resultaten direct inzichtelijk
Wil je inzicht in grote hoeveelheden data krijgen door het visueel weer te geven? Werk je met berekeningen die grote hoeveelheden data opleveren? Maak dan gebruik van onze visualisatietechnieken en –ondersteuning. Onze dienst Visualisatie helpt je om de resultaten van je berekeningen beter te interpreteren.
Snel data verplaatsen met SURFlichtpaden
Wil je een snelle en betrouwbare verbinding naar een andere instelling, een datacenter of dienstaanbieder? Met een eigen lichtpad van onze dienst SURFlichtpaden verplaats je zeer snel data van en naar onze dataprocessing-platforms. Een lichtpad is een directe, van het internet afgeschermde verbinding. Je beschikt dan over een veilige privéverbinding, die garant staat voor een zeer snelle overdracht van gegevens. Dit is extra veilig, betrouwbaar en uitermate geschikt om bijvoorbeeld privacygevoelige informatie te transporteren. De grootste uitdaging bij deze lichtpaden is om ze aan te sluiten op de systemen. Wij helpen je bij het maken van de verbinding tussen het eindpunt van een lichtpad en je databronnen.
Consultancy: onafhankelijk advies
Onze consultancy-ondersteuning is breed. Van onafhankelijk advies tot ondersteuning vanaf het moment van probleemanalyse tot en met uitvoering. Ook op het gebied van big data.
Onze consultants helpen je met advies over:
- toegang tot de infrastructuur
- jobs indienen
- methoden om je data te benaderen
- ontwerp en optimalisatie van je eigen software
- het inrichten van je data-infrastructuur
- hoe je optimaal gebruikmaakt van onze reken- en storagefaciliteiten
- integratie van je virtuele infrastructuur in je werkprocessen
- het optimaliseren van applicaties
- het parallelliseren van je software voor een snellere verwerking
Ook op het gebied van big data bieden we je veel mogelijkheden. Denk aan opleiding en training, maar ook aan advies over de architectuur en de inzet van technologie. Neem voor meer informatie contact op met onze consultancydienst.
ISO 27001-certificering
Afnemers van onze data- en rekendiensten moeten erop kunnen vertrouwen dat onderzoeksdata en andere vertrouwelijke informatie die bij SURF worden bewaard en verwerkt in veilige handen zijn. SURF is ISO 27001-gecertificeerd. Dit betekent dat we voldoen aan de hoge eisen van deze internationale standaard op het gebied van informatiebeveiliging.