Cloud-basierte Datenverarbeitung mit AWS

PROJEKT

Cloud-basierte Datenverarbeitung mit AWS: Skalierbare ETL-Lösung für die Automotive-Industrie

KUNDE

dx.one GmbH

BRANCHE

Automotive

PROJEKT-ANFORDERUNGEN

dx.one ist ein Unternehmen, das eine umfassende Palette an digitalen Dienstleistungen und Lösungen für den Automobilhandel des Volkswagen Konzerns anbietet. dx.one fokussiert sich auf verschiedene Aspekte der digitalen Transformation, darunter Cloud-Computing, Datenanalytik, künstliche Intelligenz, Cybersicherheit und die Entwicklung von Unternehmenssoftware.

Die Herausforderung bestand darin, diverse CSV-Datendateien aus verschiedenen Quellen effizient zu verwalten und zu verarbeiten. Diese Dateien wiesen unterschiedliche Formate und Inhalte auf, was die Sicherstellung einer konsistenten Datenqualität, den Schutz sensibler Informationen und die zuverlässige Integration der Daten in eine Datenbank erschwerte. Zusätzlich musste dieser Prozess innerhalb einer skalierbaren Infrastruktur automatisiert werden, die in mehreren Umgebungen konsistent einsetzbar ist.

UNSERE LÖSUNG

Anforderungsanalyse: Zusammenarbeit mit Stakeholdern, um Projektanforderungen zu verstehen und diese in klare Spezifikationen für das Entwicklungsteam zu übersetzen.
Lösungsdesign: Enger Austausch mit technischen Leitern, um eine robuste und skalierbare Lösung zu entwickeln, die mit den Projektzielen und Kundenanforderungen übereinstimmt.
Technologie-Evaluierung: Auswahl geeigneter Tools und Frameworks, um die Projektarchitektur zu optimieren.
Problemidentifikation: Proaktive Identifizierung potenzieller Engpässe oder Konflikte im Entwicklungsprozess und zeitnahes Risikomanagement.
Qualitätssicherung: Einführung und Überwachung effektiver Qualitätssicherungsprozesse, um sicherzustellen, dass die Software den festgelegten Standards entspricht.
Leistungsüberwachung: Festlegung von KPIs zur Überwachung des Projektfortschritts und der Qualitätskennzahlen.
Kontinuierliche Verbesserung: Förderung einer Lernkultur, Durchführung von Retrospektiven und Implementierung von Best Practices zur Effizienzsteigerung.

Konkret wurde eine robuste ETL-Architektur (Extract, Transform, Load) mit AWS-Diensten entworfen und implementiert:

Aufbau einer SFTP-Verbindung für den initialen Datenempfang.
Automatisierung der Datenvalidierung und -vorbereitung mittels Lambda-Funktionen.
Einsatz von Step Functions zur Orchestrierung des gesamten Workflows.
Speicherung der Daten in S3-Buckets und Verarbeitung mit Glue-Jobs.
Überführung der verarbeiteten Daten in eine RDS PostgreSQL-Datenbank.
Nutzung von Terraform zur Definition der Infrastruktur und Bereitstellung über GitHub Actions, um konsistente und reproduzierbare Konfigurationen sicherzustellen.

ERGEBNIS UND MEHRWERT FÜR DEN KUNDEN

Wir haben die gesamte ETL-Architektur entworfen, einschließlich der Automatisierung von Datenvalidierung und -aufnahme mit Lambda-Funktionen sowie der Workflow-Orchestrierung mit Step Functions.

Implementierung der Datenverarbeitung in Glue-Jobs.
Schutz sensibler Daten.
Infrastruktur-Setup mit Terraform.
Optimierung des Bereitstellungsprozesses mit GitHub Actions für konsistentes Infrastrukturmanagement.

AWS-Pipeline-1024x336

Referenz Architektur unserer ETL Infrastruktur

Das Ergebnis war eine hochautomatisierte, skalierbare und zuverlässige Plattform, die Kundendaten effizient aufnimmt, verarbeitet und speichert.

Datenintegrität wird durch umfassende Validierungsprozesse gewährleistet.
Sicherheit sensibler Informationen wird garantiert.
Bereitstellung der verarbeiteten Daten in einer strukturierten Form innerhalb einer RDS PostgreSQL-Datenbank.
Konsistente und reproduzierbare Infrastrukturbereitstellung durch Terraform und GitHub Actions.

Die Lösung ermöglicht Stabilität und Skalierbarkeit, um mit dem Wachstum der Plattform Schritt zu halten.

Cloud-basierte Datenverarbeitung mit AWS

PROJEKT-ANFORDERUNGEN

UNSERE LÖSUNG

ERGEBNIS UND MEHRWERT FÜR DEN KUNDEN

SPRECHEN SIE UNS AN!