Eindeloze hoeveelheden data komen tegenwoordig beschikbaar. Maar hoe kun je ze veilig en vertrouwd verwerken, analyseren en (her)gebruiken? De projecten in dit Labs-thema onderzoeken deze aspecten.
CS3MESH4EOSC
Iedereen gebruikt zijn eigen dienst om bestanden te synchroniseren en te delen. In het onderzoek is dat niet anders. Maar onderzoekers willen ook bestanden delen met collega’s die een andere sync-and-sharedienst gebruikt. In het Europese project CS3MESH4EOSC koppelen we een groot aantal van die diensten.
Wat is CS3MESH4EOSC?
In de afgelopen jaren zijn door verschillende organisaties wereldwijd on-premise sync-and-sharediensten ontwikkeld: diensten waarmee je online bestanden kunt opslaan, delen en synchroniseren. SURF ontwikkelde SURFdrive en SURF Research Drive. Inmiddels is er een community ontstaan rond deze diensten: Cloud Services for Synchronisation and Sharing (CS3). Een aantal organisaties in CS3, waaronder SURF, hebben besloten om hun diensten gezamenlijk verder te ontwikkelen en een e-infrastructuur (mesh) te bouwen van sync-and-sharediensten. Deze e-infrastructuur moet deel uit gaan maken van het European Open Science Cloud (EOSC). Vandaar de naam CS3MESH4EOSC.
Waarom doen we dit project?
Bestanden delen met mensen buiten je eigen organisatie
Met sync-and-sharediensten kun je tegenwoordig veel meer dan alleen bestanden synchroniseren en delen. Ze zijn vaak geïntegreerd met andere diensten zoals omgevingen voor Jupyter notebooks, diensten om data te publiceren en archiveren, collaborative editing, enzovoort. Je kun dan bijvoorbeeld vanuit je sync-and-share-omgeving niet alleen je data direct bewerken met Jupyter notebooks, maar die notebooks ook delen.
Al die functies zijn tot nu toe beschikbaar voor gebruikers binnen één sync-and-sharedienst. Maar zowel onderwijs als onderzoek houdt niet op bij de grenzen van de organisatie. Gebruikers willen deze diensten en data ook kunnen delen met mensen buiten de organisatie die hun eigen sync-and-sharedienst gebruiken.
Sync-and-sharediensten aan elkaar koppelen
In CS3MESH4EOSC willen we daarom sync-and-sharediensten integreren en aan elkaar koppelen in een federatieve infrastructuur, met als doel dat:
- gebruikers van verschillende sync-and-sharediensten data en applicaties kunnen delen
- sync-and-sharediensten gekoppeld worden aan diensten die data FAIR (Findable, Accessible, Interoperable, Reusable) maken
- gefedereerde data-analyses en -distributie van data mogelijk worden. Gefedereerd wil zeggen dat er gewerkt wordt met een “trust relationship”: op basis van een vertrouwensrelatie tussen sync-and-sharediensten krijgen geauthenticeerde gebruikers van de ene dienst toegang tot data binnen de andere dienst.
Initieel gaat het om de volgende sync-and-sharediensten: SURFdrive, Research Drive, CERNBox, PSNCBox, CloudSTOR, Sciebo, owncloud@CESNET, SWITCHdrive en ScienceData.
Wat zijn de belangrijkste activiteiten?
- We ontwikkelen software voor het koppelen van sync-and-sharediensten met andere diensten, en voor het koppelen van sync-and-sharediensten onderling via de Open Cloud Mesh-standaard. De vendors Owncloud, Nextcloud en Seafile ondersteunen deze standaard.
- We creëren een federatieve infrastructuur. Daar is SURF verantwoordelijk voor. Dit behelst onder andere support, quality of service, monitoring, security, governancestructuur en operationele procedures.
- We werken aan de doorontwikkeling van applicaties. Dit gaat dan om Jupyter notebooks, collaborative editing and integratie met archivingdiensten en on-demand data transfers. Voor dit laatste is SURF verantwoordelijk. Met on-demand datatransfers kunnen gebruikers vanuit hun eigen sync-and-sharedienst data versturen naar andere sync-and-sharesystemen of opslaginfrastructuren. Dit is met name relevant voor de meer veeleisende toepassingen van sync-and-share.
Met wie werken we samen?
We werken in dit project samen met:
- CERN
- AARNET
- CESNET
- PSNC
- Trust-IT
- SWITCH
- Joint Research Centre
- Cubbit
- Westfälische Wilhelms Universität
- Ailleron
- Danmark Tekniske Universitet
- ESADE