Data Engineering - Skalierbare Datenpipelines und Big Data Technologien

Einführung in Data Engineering

• Überblick über die Rolle des Data Engineers
• Architektur von Datenplattformen
• Unterschiede zwischen Data Engineering und Data Science

Datenmodellierung und Datenbanken

• Entwurf relationaler Datenbanken und Normalisierung
• Einführung in NoSQL-Datenbanken: Typen und Einsatzgebiete
• Optimierung von Datenbankabfragen und Indexierungstechniken

ETL-Prozesse und Datenpipelines

• Planung und Design von ETL-Prozessen
• Tools und Technologien für ETL (z.B. Apache Airflow, Talend, Informatica)
• Sicherstellung der Datenqualität und Datenbereinigungstechniken
• Umgang mit inkrementellen Datenverarbeitungen

Skalierbare Datenverarbeitung

• Einführung in Big Data-Technologien wie Hadoop und Spark
• Cluster-Management und verteilte Datenverarbeitungstechniken
• Echtzeitdatenverarbeitung mit Apache Kafka und Flink
• Batch- und Stream-Processing-Architekturen

Cloud-basierte Datenarchitekturen

• Nutzung von Cloud-Diensten (AWS, Azure, Google Cloud)
• Einrichtung und Optimierung von Data Warehousing-Lösungen (z.B. Amazon Redshift, Google BigQuery)
• Sicherheit, Datenschutz und Compliance in der Cloud

Datenintegration und API-Entwicklung

• Datenintegrationstechniken für strukturierte und unstrukturierte Daten
• Entwicklung und Verwaltung von APIs zur Datenbereitstellung
• Sicherheits- und Skalierbarkeitsaspekte in der API-Entwicklung
• Einsatz von Middleware für Datenintegration

Überwachung und Optimierung von Datenpipelines

• Monitoring-Tools und Protokollierungsstrategien
• Performance-Optimierung und Skalierbarkeit
• Fehlertoleranzstrategien und Wiederherstellungskonzepte
• Nutzung von CI/CD-Pipelines in Data Engineering

Fortgeschrittene Themen und Anwendungsbereiche

• Integration von Machine Learning Pipelines
• Datenethik und verantwortungsvolle Datennutzung
• Trends und zukünftige Entwicklungen im Data Engineering
• Fallstudien aus verschiedenen Branchen (z.B. Finanzen, E-Commerce, Gesundheitswesen)

Für eine optimale Teilnahme am Kurs empfehlen wir folgende Vorkenntnisse:

• Grundkenntnisse in Programmierung und Datenbanken sind hilfreich, aber nicht zwingend erforderlich

• IT-Fachkräfte und Softwareentwickler
• Data Analysts und Data Scientists

C