Opereren met een supercomputer op je neus: op jacht naar de bron van epilepsie
Hoe vind je in een complex netwerk als het menselijk brein, die ene plek die kortsluiting veroorzaakt? Voor neuroloog en hoogleraar Maeike Zijlmans (UMC Utrecht) is dit dagelijkse kost. Samen met het ErasmusMC en SURF werkte ze aan een methode om met augmented reality (AR) onzichtbare details zichtbaar te maken tijdens een operatie.
In het kort
Wie: prof. dr. Maeike Zijlmans
Functie: hoogleraar neurologie
Instelling: UMC Utrecht, Expertisecentrum voor slaapgeneeskunde en epilepsie SEIN
Dienst: Visualisatie
Uitdaging: Tijdens een hersenoperatie worden matjes met elektroden op de hersenen gelegd om elektrische signalen te meten, maar het is lastig om de locatie van de elektroden ten opzichte van de hersenen nauwkeurig te bepalen.
Oplossing: Met een VR-bril en slimme software kunnen de elektroden tot op de millimeter nauwkeurig worden gelokaliseerd.
Maeike Zijlmans
“Epilepsie is eigenlijk een netwerkziekte,” legt Zijlmans uit. “Om te genezen moeten we precies weten waar de fout in dat netwerk zit.” Voor mensen met ernstige, medicatieresistente epilepsie is een hersenoperatie vaak het laatste redmiddel. Het doel van zo’n operatie: het stukje weefsel verwijderen dat de aanvallen veroorzaakt, zonder gezonde functies te beschadigen.
Chirurgen leggen matjes met elektroden (‘elektrodengridjes’) direct op de hersenen, om de elektrische signalen te meten. Maar er is een probleem. Die matjes zijn klein, kunnen vervormen en glijden soms deels onder de schedelrand of het hersenvlies. Zijlmans: “Je moet exact weten waar elke elektrode ligt ten opzichte van de hersenen om de gemeten signalen goed te interpreteren. Met het blote oog is daar veel tijd en expertise voor nodig.”
Een voorbeeld van elektrodengrid die op de hersenen van een patiënt is geplaatst.
Accurater meten met slimme software
Een oplossing ligt mogelijk in AR-ondersteunde neurochirurgie, zoals door het UMCU al werd ontwikkeld voor andere neurochirurgische toepassingen. Het idee? Een chirurg draagt een AR-bril, de HoloLens 2, die als een virtuele laag over de werkelijkheid heen toont waar de elektroden zich precies bevinden ten opzichte van de hersenen. Het herkennen van de positie van het elektrodengridje is hierbij noodzakelijk.
Om dit voor elkaar te krijgen, werkten Zijlmans’ onderzoeksgroep, de ingenieurs van het ErasmusMC en SURF met elkaar samen. In een recent wetenschappelijk artikel beschrijft het team hoe ze hiervoor super resolution en AI hebben ingezet. Simpel gezegd: slimme software die wazige of onvolledige beelden van de camera’s in de bril oppoetst tot haarscherpe informatie. Hiermee konden de elektroden tot op de millimeter nauwkeurig worden gelokaliseerd.
Een chirurg draagt een AR-bril, de HoloLens 2, die als virtuele laag toont waar de elektroden zich precies bevinden ten opzichte van de hersenen.
Datastroom van meer dan 20 Netflix-films
Het klinkt als sciencefiction, en technisch gezien is het dat voor de dagelijkse praktijk ook nog. De AI-modellen die nodig waren om die beelden live te verwerken, bleken veel te zwaar voor de processor van een AR-bril. “Je vraagt eigenlijk aan een mobiele telefoon om het werk van een groot werkstation te doen,” aldus technisch adviseur Hizirwan Salim van SURF.
De oplossing lag in de cloud, of specifieker: bij de nationale supercomputer Snellius. Het team bouwde een succesvol prototype waarbij de videobeelden van de AR-bril direct naar Snellius werden doorgestuurd. Daar draaiden de zware AI-modellen, waarna het resultaat direct werd teruggestuurd naar de bril, en dat 30 keer per seconde.
Deze toepassing bracht echter enorme infrastructurele uitdagingen met zich mee. De videostreams van de headset liepen op tot meer dan 1000 Mbps. Ter vergelijking: dat is meer dan 20 keer de bandbreedte die nodig is voor een 4K Netflix-stream. Een haperende film is vervelend, maar een vertraging in de operatiekamer is onacceptabel.
De digitale snelweg van morgen
Met de oplevering van het prototype van de applicatie en de publicatie van het artikel is deze specifieke samenwerking tussen de 3 partijen afgerond. De resultaten vormen een basis voor vervolgstappen. Voor Zijlmans gaat de zoektocht naar betere methoden voor detectie en visualisatie door, terwijl SURF onderzoekt of de opgedane inzichten gebruikt kunnen worden voor mogelijke toekomstige toepassingen.
De inzichten gaan niet alleen over pure snelheid, maar om de hele keten:
- Rekenkracht: Hoeveel GPU-power (verwerkingskracht van grafische kaarten) is er nodig om meerdere AI-modellen realtime te draaien?
- Netwerk: Hoe garandeer je dat de verbinding tussen een ziekenhuis en de supercomputer stabiel en veilig is?
- Datastromen: Hoe zorg je ervoor dat meerdere datastromen uit verschillende bronnen op elkaar kunnen aansluiten?
Dit onderzoek is cruciaal, want de techniek staat niet stil. Hizirwan: “We bouwen nu eigenlijk aan de digitale snelweg die nodig is voor de toepassingen van morgen.”
Dit artikel is gebaseerd op de publicatie: ‘Super-resolution for localizing electrode grids as small, deformable objects during epilepsy surgery using augmented reality headsets'’, het eindresultaat van een samenwerking tussen UMCU, ErasmusMC en SURF.