Effizienter Datenmanagement-Workflow zur Analyse eines PtGtX-Systems basierend auf Open-Source-Software und Low-Cost-Hardware

Abstract

ZusammenfassungUm ein Power-to-Gas-to-X-System effizient zu optimieren, kann ein digitaler Zwilling als Simulationsmodell auf Basis experimenteller Daten für ein Laborsystem erstellt und entsprechend verändert werden. Darüber hinaus müssen für die Überwachung des realen Systems bzw. die Online-Simulation kontinuierlich Daten aus Experiment und Simulation erfasst und verarbeitet werden. Insgesamt ist ein effizienter Datenmanagement-Workflow erforderlich.In dieser Arbeit wird ein Workflow aus freier, etablierter und skalierbarer Open-Source-Software für die vorliegende Anwendung skizziert und insbesondere ein geeignetes Datenmodell entwickelt, implementiert und seine ressourcensparende Realisierung auf kostengünstiger Hardware gezeigt. Abhängig von der Datenmodellierung kann preiswerte und alte Hardware für die geforderte Aufgabe ausreichend sein.Mit Apache NiFi wird ein visueller Workflow zum Abrufen und Verarbeiten von Daten aus verschiedenen Quellen geschaffen. Die extrahierten Daten werden in Apache Cassandra aggregiert, einem Datensystem, das aufgrund seiner Leistung, Skalierbarkeit und Haltbarkeit häufig verwendet wird.Grafana wird zur visuellen Überwachung des Systems eingesetzt. Das gesamte System wird mit Hilfe von Docker-Containern aufgebaut zum Zwecke der Reproduzierbarkeit und effizienten Bereitstellung.Benchmarks und realistische Hardware- und Datenmodellierungskonfigurationen demonstrieren die Leistung der vorgeschlagenen Lösung.