Succesvolle test: 1,2 Tbit/s datatransfer om langeafstandsnetwerk klaar te maken voor AI en supercomputing

Tests werden uitgevoerd over verschillende routes, waaronder de langste route van 4.700 km via Noorwegen, met een capaciteit van 1 Tbit/s. Om dit in perspectief te plaatsen: 1 Tbit/s is genoeg om 200.000 full HD-films (bij 5 Mbit/s elk) tegelijkertijd te streamen.

Deze resultaten zijn bijzonder veelbelovend nu de onderzoekswereld zich voorbereidt op het online komen van supercomputers en AI-fabrieken - waar betrouwbare, schaalbare en veilige verbindingen cruciaal zullen zijn voor het ondersteunen van enkele van 's werelds grootste datasets en meest veeleisende werklasten.

De test maakte gebruik van een combinatie van echte onderzoeksgegevens en synthetische gegevens, die rechtstreeks van schijf naar schijf werden overgebracht - van SURF’s faciliteit in Amsterdam naar het datacenter van CSC in Kajaani – via vijf bestaande onderzoeks- en onderwijsnetwerken: SURF (Nederland), NORDUnet (Nordic backbone), Sunet (Zweden), SIKT (Noorwegen) en Funet (het netwerk van CSC in Finland).

De netwerkoplossing was gebaseerd op Nokia’s IP/MPLS-routing en quantumveilige optische netwerktechnologie. Nokia’s IP-technologie demonstreerde met succes Flexible Ethernet (FlexE) om “elephant flows”, of zeer grote, continue datastromen, te verwerken, terwijl de hogecapaciteits optische transporttechnologie in staat bleek enorme datasets van HPC’s over lange afstanden te verplaatsen.

Afstand tussen supercomputercentra geen obstakel

Met de exponentiële groei van onderzoeksdata, vooral voor het trainen van grootschalige AI-modellen, is de behoefte aan veerkrachtige, hoogwaardige en veilige connectiviteit belangrijker dan ooit. Deze test bevestigt dat multi-domein datatransfers met hoge capaciteit via Europese onderzoeksnetwerken zowel haalbaar als toekomstbestendig zijn. Het testen van een operationele netwerkverbinding over lange afstanden biedt unieke inzichten op in het transport en de opslag van grote hoeveelheden data. Zulke testen zijn cruciaal om de infrastructuur voor data-intensief onderzoek te verbeteren.

"We ontwerpen onderzoeksnetwerken met toekomstige behoeften in gedachten," zegt Jani Myyry, Senior Network Specialist bij CSC. "Het datacenter van CSC in Kajaani huisvest nu al de pan-Europese LUMI-supercomputer, en met de komst van de LUMI-AI-supercomputer en de AI Factory zijn betrouwbare en schaalbare dataverbindingen door heel Europa essentieel. Ondanks de aanzienlijke geografische afstand vormt dit geen belemmering voor dataverkeer."

Klaar om de volgende stap te zetten in het verbinden van Europese supercomputers

"Als SURF zijn we klaar om de volgende stap te zetten in het op elkaar afstemmen van Europese supercomputers," zegt Arno Bakker, Senior Network Specialist bij SURF. "Deze inspanningen bieden toekomstperspectieven voor het trainen van gefedereerde LLM als OpenEuroLLM op LUMI en Snellius, of voor een onderzoeker om op LUMI te rekenen met zeer grote datasets die gehost worden bij SURF, zoals de KNMI (Koninklijk Nederlands Meteorologisch Instituut) datasets."

"Deze test was niet mogelijk geweest zonder de ondersteuning van NIKHEF, het Nederlandse nationaal instituut voor subatomaire fysica. Hun ervaring in het afhandelen van enorme hoeveelheden natuurkundige meetgegevens en beschikbare hardware zorgt ervoor dat dit soort tests succesvol gedaan kunnen worden. Daarnaast geeft Bakker aan dat we onze Scandinavische partners erg dankbaar zijn voor hun hulp bij het opzetten van deze testverbinding. Dit is opnieuw een voorbeeld van de voortdurende goede samenwerking tussen NREN's om de best mogelijke internationale infrastructuur voor onderzoek en onderwijs te creëren."

"Baanbrekende testen zoals deze laten zien hoe geavanceerde netwerken van fundamenteel belang zijn voor het ontsluiten van het volledige potentieel van AI en high-performance computing," zegt Mikhail Lenko, Customer Solutions Architect voor Nokia. "Deze succesvolle samenwerking met CSC en SURF is een bewijs van de innovatie en het leiderschap van de wetenschappelijke gemeenschap, en van wat er mogelijk is als we samenwerken."

"Terwijl het netwerk zich voorbereidt op de volgende golf van supercomputers en AI-fabrieken, zijn wij trots dat we de quantumveilige, hogecapaciteits en veerkrachtige IP/MPLS- en optische infrastructuur leveren die deze systemen mogelijk maakt. We kijken ernaar uit om onze steun aan wereldwijde onderzoeks- en onderwijsnetwerken voort te zetten, hen te helpen met vertrouwen op te schalen en de volgende generatie ontdekkingen en innovaties te stimuleren."