Dask-Graph f眉r eine Rechnung auf Daten, die die Kapazit盲t des Arbeitsspeichers 眉berschreiten.
Ozean- und Klimasimulationen nutzen die volle Rechenkapazit盲t moderner Hochleistungsrechner (HPC) und produzieren dabei Datens盲tze, die zu den Gr枚脽ten der wisschenschaftlichen Welt geh枚ren. Daten dieses Umfanges (bis zu mehrere Hundert Terabyte je Modellsimulation) zu speichern, zu verwalten und einer Versionskontrolle zu unterziehen ist sehr anspruchsvoll. Dar眉ber hinaus werden auch f眉r die Analyse dieser Datenmengen enorme Ressourcen ben枚tigt.
Um mit solch gro脽en Datens盲tzen sinnvoll wissenschaftlich arbeiten zu k枚nnen, entwickeln und nutzen wir Methoden f眉r Marine Big-Data auf gro脽en verteilten Rechnersystemen und entwerfen und betreiben Plattformen f眉r Datenanalyse, auf Servern am 91探花, auf HPC-Systemen, und in der Cloud. Da die Entwicklung von Open-Source-Werkzeugen f眉r Big-Data-Analyse eine Aufgabe ist, die gesamte wissenschaftliche Gemeinschaft 眉ber verschiedene internationale Arbeitsgruppen umfasst, hat sich die Abteilung f眉r Ozeandynamik eine umfassende Expertise in der Software-Entwicklung und der software-bezogenen Projektleitung erarbeitet.
Diese Erfahrungen geben wir im Rahmen von methodischen und anwendungsbezogenen Weiterbildungen zur Analyse und zum Management von Marine Big Data und zur Softwareentwicklung weiter. So helfen wir anderen 91探花-Mitarbeiterinnen und Mitarbeiter und der wissenschaftlichen Gemeinschaft, hohe methodische Standards zu entwickeln und / oder aufrecht zu erhalten.
Die wissenschaftliche Arbeit der Forschungseinheite Ozeandynamik sind an den folgenden Projekten federf眉hrend beteiligt:
Helmholtz School for Marine Data Science (): defining and educating 鈥渕arine data scientists鈥
ExaESM WP4: Interactive Analysis on HPC-Systemen
ESM Virtual Field Campaigns: Developing processing tools and platforms for analysing ocean-model data in observational contexts