So nutzen Sie das ganze Potential Ihrer MDF Dateien mit unserem cloudbasierten Microservice

Hochauflösende Messgeräte erfassen tausende Sensorsignale von Radar- und zentralen Steuereinheiten, welche häufig im MDF-Format gespeichert werden. Dies ermöglicht die effiziente Speicherung großer Datenmengen. Doch selbst Dateien mit nur wenigen Minuten Messdauer haben bereits eine Größe von mehreren Gigabyte. Betrachtet man die von einer ganzen Flotte erfasste Datenmenge so summiert sich diese Menge auf mehrere Petabyte.

Die Analyse solcher Datenmengen, die Verbesserung von Fahrfunktionen und die Simulation neuer Softwareversionen sind mit lokalen Tools und den begrenzten Ressourcen eines PCs nahezu unmöglich. Daher werden die Fahrfunktionen derzeit meist anhand einer begrenzten Anzahl von Messungen analysiert und nicht für eine ganze Flotte. Die Auswirkungen einer Softwareanpassung auf den gesamten Datensatz werden dadurch nicht getestet. Stattdessen werden Leistungskennzahlen im Rahmen der Entwicklung weiterer Merkmale in speziellen Simulationsclustern ausgewertet, was durch deren hohe Auslastung zu einer mehrwöchigen Feedbackschleife führen kann. Und selbst diese lokalen Rechencluster stoßen mit zunehmender Datenmenge schnell an ihre Grenzen. Was ist also Ihre Alternative?

Die Cloud, mit ihren nahezu unbegrenzten Skalierungsmöglichkeiten im Hinblick auf die Speicher- und Rechenleistung, kann hier Abhilfe schaffen und enorme Effizienzgewinne in Sachen Zeit und Kosten bewirken. Hochmoderne, cloudbasierte Analyse- und Simulationstools sind für diese Anwendungsfälle wesentlich schneller und auf Abruf verfügbar. Zunächst müssen die Daten in die Cloud hochgeladen werden. Im nächsten Schritt werden die Metadaten, wie Fahrzeugidentifikationsnummer, Datum der Messung, etc. aus den MDF-Dateien extrahiert, damit die Dateien später wieder schnell gefunden werden können. Dann müssen die enthaltenen Signale in ein Big-Data-Format wie Parquet umgewandelt werden, damit sie von den cloudbasierten Tools gelesen werden können. Erst dann können diese Daten einfach in nachgelagerten Use Cases für Analyse, Simulation und Machine Learning genutzt werden.

Die Dateningenieure und Cloud Architekten, welche eine solche cloudbasierte Toolchain entwickeln sollen, müssen zunächst eine geeignete Open-Source-Bibliotheken finden, vergleichen, bewerten und auswählen. Danach müssen sie eine individuelle Lösung für ihr Unternehmen entwerfen und diese implementieren, testen, warten und aktualisieren. Dieser Prozess kann mehrere Monate dauern. Erste Lösungen, die mit hohem Aufwand entwickelt und gewartet werden, sind inzwischen auf dem Markt, allerdings fehlt noch eine öffentlich zugängliche cloudbasierte Lösung.

Wir bei Bosch Engineering haben uns in zahlreichen Projekten intensiv mit dieser Problematik auseinandergesetzt und dafür einen einfach zu integrierenden Microservice entwickelt: den Automotive Data Transformer. Dieser cloudnative Messdaten-Transformer ermöglicht es Dateningenieuren und Cloud Architekten, MDF-Dateien ohne umfassende Erfahrung in der Applikation von Automotive-Anwendungen Metadaten und Signale mit einfachen API-Anfragen zu extrahieren und konvertieren.

Schnell, zuverlässig und sicher - unser Service läuft vollständig auf AWS, ist für die Anbindung in einen zentralen Data Lake auf Basis von AWS S3 vorbereitet und lässt sich durch Dateningenieure oder Cloud Architekten nahtlos in eine Datenpipeline integrieren. Aufgrund unserer eigenen Anforderungen lag das Hauptaugenmerk bei der Entwickung u.a. darauf, den Automotive Data Transformer so schnell wie möglich zu machen. Anstatt die einzelnen Signale sequentiell abzuarbeiten werden AWS Lambda Funktionen eingesetzt, die wir beliebig skalieren und dadurch die Signalverarbeitung parallelisieren können. Der Automotive Data Transformer ist dadurch bis zu 40-fach schneller als vergleichbare, lokale Anwendungen. Wertvolle Zeit, die Sie als Softwareentwickler nutzen können, um Erkenntnisse aus der Analyse zu ziehen und z.B. Ihre Algorithmen für die adaptive Abstands- und Geschwindigkeitsregelung wesentlich früher für die nächste Testfahrt zu verbessern.

Zum AWS Marketplace

Der Automotive Data Transformer hat zwei Hauptfunktionen: 

• Export von Metadaten - Definierbare Detailebenen von Metadaten werden extrahiert. Sie können die Daten direkt als JSON-Antwort erhalten oder im JSON-Format speichern. 

• Verarbeitung von Signaldaten - Alle oder spezifisch angeforderte Signale werden umgewandelt und in den definierten Dateipfad im gewünschten Cloud-Speicher geladen. Dabei wird das effiziente Parquet-Format für die Speicherung verwendet, alternativ auch CSV- oder JSON-Format (geringerer Effizienz). 

Um das Leben der Dateningenieure und Softwareentwickler zu erleichtern, haben wir Funktionen wie Resampling und Interpolation implementiert. Diese reduzieren die Dateigröße, wenn keine höhere Sample-Rate (Abtastrate) erforderlich ist, und vereinheitlicht die Zeitbasis für einfachere Analysen. Andernfalls müssen zusätzliche Schritte in die Daten-Pipeline integriert werden. Für Cloud Architekten, die den Automotive Data Transformer als Teil ihres cloudbasierten Datenanalyse-Tools integrieren, unterstützen wir außerdem die Möglichkeit, nur bestimmte Zeiträume abzufragen, um so die Ausgabedatei weiter zu verkleinern. 

Da MDF-Dateien sensible Entwicklungsdaten enthalten, müssen Kunden uns die Daten nicht übermitteln. Stattdessen können sie dem Automotive Data Transformer jederzeit widerrufbaren Zugriff auf deren Speicherort gewähren.