Hackathon high performance computing met Python en RS-DAT

Het efficiënt benutten van high-performance systemen kan lastig zijn. Daarom hebben het eScience Center en SURF de Research Stack for a Distributed Analysis environmenT (RS-DAT) ontwikkeld. RS-DAT is een framework, gebaseerd op het Python-Jupyter-Pydata-Dask ecosysteem, dat het gemakkelijker maakt om technieken voor gedistribueerde dataverwerking toe te passen op de supercomputer- en opslagsystemen van SURF, zoals Snellius, Spider en dCache. 

Het doel van deze hackathon

Tijdens de hackathon werk je aan onderzoeksproblemen en wij helpen je om het RS-DAT-framework erop toe te passen. Hierbij kun je denken aan: 

• Je Python-code versnellen met behulp van parallelisatie;
• Het analyseren van grote datasets die niet op één machine passen;
• Efficiënt gebruikmaken van opslagsystemen in je workflows;

Daarnaast dient deze hackathon als een vervolgsessie op de RS-DAT-training, waar je diepgaandere vragen kunt stellen. 

Dit is een open hackathon, dus je kunt een of meerdere dagen deelnemen of een deel van een dag. Als je vragen hebt of je use case van tevoren wilt bespreken, neem dan gerust contact op met tim.kok@surf.nl. 

Voor wie? 

Onderzoekers en softwareontwikkelaars die willen leren hoe ze hun data-analyses in Python eenvoudig kunnen opschalen naar krachtige computersystemen. 

Vereisten

• Eigen computer en terminal met SSH
• Ervaring met Python
• Basiskennis van Unix shell is nuttig

Goed om te weten: 19 maart organiseren we een RS-DAT training die een solide basis vormt voor deelname aan deze hackathon. Toekomstige trainingen en hackathons zullen hier worden vermeld en ook op de TDCC-website.