High-performance dataprocessing

Wil je grote hoeveelheden data verwerken en opslaan? Ons team van experts ondersteunt je bij het gebruik van onze high-throughput dataverwerkingssystemen en opslagoplossingen.

Onderzoeker achter scherm

Voor grote, gestructureerde datasets

Onze high-throughput dataprocessing-diensten zijn geschikt voor projecten die de verwerking van grote, gestructureerde datasets vereisen. Zoals instrumentendata van sensoren, DNA-sequencers, telescopen en satellieten.

Maak gebruik van dataprocessing-services voor:

  • Samenwerken aan een gedeelde set van data en software
  • Parallelle verwerking van grote hoeveelheden gegevens, van vele terabytes tot petabytes
  • Verwerking van grote onafhankelijke simulaties en workflows
  • Geoptimaliseerd datatransport dankzij een schaalbaar netwerk met hoge bandbreedte
  • Eenvoudige toegang tot schaalbare oplossingen voor dataopslag

Vraag direct toegang aan

Nobelprijswinnend onderzoek naar zwaartekrachtgolven maakt gebruik van het Grid
Praktijkvoorbeelden uit ‘big science’

Diverse omvangrijke (inter)nationale onderzoeksprojecten hebben hun eigen productie- en samenwerkingsplatform ingericht op onze dataprocessing-infrastructuur. Enkele voorbeelden:

Ondersteuning op maat

High-performance dataprocessing-projecten hebben ondersteuning nodig bij het verzenden, opslaan, ontsluiten en verwerken van grote hoeveelheden data. Wij hebben uitgebreide ervaring met alle aspecten van grootschalige gegevensverwerking. We bieden gespecialiseerde ondersteuning bij het bouwen van productieoplossingen op maat voor jouw onderzoekscommunity.

Dataprocessing-platforms

We hebben 2 krachtige dataprocessing-platforms die voorzien in de verschillende behoeften:

Grid voor schaalbaarheid en samenwerking

Grid biedt een grenzeloos rekenpotentieel dankzij een keten van internationale clusters die via een snel netwerk met elkaar verbonden zijn. Deze clusters bevinden zich in datacenters over de hele wereld.

Voordelen van Grid:

  • Toegang tot het Europese Grid voor gefedereerde dataverwerking
  • Enorme verwerkingscapaciteit gericht op gestage productieprocessen
  • Mogelijkheid om samen te werken met grote onderzoekscommunity’s op verschillende locaties

Platform voor meer flexibiliteit

Spider is een dynamisch, flexibel en naar behoefte aan te passen platform dat lokaal bij SURF wordt gehost. Het is geoptimaliseerd voor samenwerking en wordt ondersteund door een ecosysteem van tools waarmee data-intensieve projecten snel en eenvoudig kunnen worden opgestart.

Voordelen van het Spider-platform:

  • Interactieve verwerking met gebruiksvriendelijke interface
  • Privé-nodes en -clusters voor productie en beschikbaarheid op maat
  • Samenwerken in een private en veilige projectomgeving
Technische specificaties

Dit zijn de specificaties van de dataprocessing-platforms van SURF in januari 2020. Ze geven een indruk van de kwaliteit en de capaciteit van onze faciliteiten.

 
Platform Grid Spider
Aantal cores 10.000+ 10.000+
Besturingssysteem  Linux CentOS 7.x 64bit Linux CentOS 7.x 64bit
Workload manager

gLite & DIRAC

Slurm
Network uplink to external sources 1200 Gbit/s 1200 Gbit/s
Existing data 10.000TB disk / 50.000TB tape 10.000TB disk / 50.000TB tape
Non-shared node storage (scratch) max 80GB per core / 11TB per node 80GB per core / 11TB per node
Shared local storage n/a 250TB +
Remote storage dCache dCache/SWIFT/Archive/Cloud storage
Memory (RAM) max 8GB per core / 1 TB per node 8GB per core / 1 TB per node
Federated sites worldwide n/a
Private resources n/a project-tailored nodes & clusters
Type of jobs Single-core / multi-core / whole-node Single-core / multi-core / whole-node
Container support Singularity Singularity
Security en privacy Standard Customizable

Meer (technische) informatie over het gebruik van deze platforms vind je bij de gebruikersinformatie Grid en gebruikersinformatie Spider.

Aanvullende diensten

Onderzoeksdata opslaan

Onze diensten zijn verbonden met het centrale archief van SURFsara. Dit archief biedt je uitgebreide mogelijkheden om je onderzoeksdata op te slaan. Verder kun je de PID-dienst (Persistent Identifiers) gebruiken op data die opgeslagen staan op SURFsara-opslagdiensten. Wil je je data veilig en langdurig opslaan? Maak dan gebruik van onze Data Archive-dienst. 

Visualisatie: resultaten direct inzichtelijk

Wil je inzicht in grote hoeveelheden data krijgen door het visueel weer te geven? Werk je met berekeningen die grote hoeveelheden data opleveren? Maak dan gebruik van onze visualisatietechnieken en –ondersteuning. Onze dienst Visualisatie helpt je om de resultaten van je berekeningen beter te interpreteren.

Snel data verplaatsen met SURFlichtpaden

Wil je een snelle en betrouwbare verbinding naar een andere instelling, een datacenter of dienstaanbieder? Met een eigen lichtpad van onze dienst SURFlichtpaden verplaats je zeer snel data van en naar onze dataprocessing-platforms. Een lichtpad is een directe, van het internet afgeschermde verbinding. Je beschikt dan over een veilige privéverbinding, die garant staat voor een zeer snelle overdracht van gegevens. Dit is extra veilig, betrouwbaar en uitermate geschikt om bijvoorbeeld privacygevoelige informatie te transporteren. De grootste uitdaging bij deze lichtpaden is om ze aan te sluiten op de systemen. Wij helpen je bij het maken van de verbinding tussen het eindpunt van een lichtpad en je databronnen. 

Consultancy: onafhankelijk advies

Onze consultancy-ondersteuning is breed. Van onafhankelijk advies tot ondersteuning vanaf het moment van probleemanalyse tot en met uitvoering. Ook op het gebied van big data.

Onze consultants helpen je met advies over:

  • toegang tot de infrastructuur
  • jobs indienen
  • methoden om je data te benaderen
  • ontwerp en optimalisatie van je eigen software
  • het inrichten van je data-infrastructuur 
  • hoe je optimaal gebruikmaakt van onze reken- en storagefaciliteiten
  • integratie van je virtuele infrastructuur in je werkprocessen
  • het optimaliseren van applicaties
  • het parallelliseren van je software voor een snellere verwerking

Ook op het gebied van big data bieden we je veel mogelijkheden. Denk aan opleiding en training, maar ook aan advies over de architectuur en de inzet van technologie. Neem voor meer informatie contact op met onze consultancydienst.

Meer weten over de mogelijkheden?

Neem contact met ons op

Dit is een optionele SURF-dienst.