DP-3011 Implementing a Data Analytics Solution with Azure Databricks (DP-3011-A)

Grundlegendes zu Azure Databricks

• Überblick über Azure Databricks und seine Einsatzmöglichkeiten
• Erste Schritte und Orientierung im Azure Databricks-Umfeld
• Verschiedene Workload-Typen in Azure Databricks verstehen
• Grundkonzepte und Architektur von Azure Databricks

Data Governance und Sicherheit

• Verwaltung von Datenzugriff mit Unity Catalog
• Integration von Microsoft Purview für Daten-Governance und Compliance

Datenanalyse mit Azure Databricks

• Import und Erfassung von Daten
• Nutzung integrierter Tools zur Datenexploration
• Analyse von Daten mithilfe von DataFrame-APIs
• Übung: Daten untersuchen und analysieren

Arbeiten mit Apache Spark

• Grundlagen und Einsatzgebiete von Apache Spark
• Erstellen und Konfigurieren von Spark-Clustern
• Arbeiten mit Notebooks und Spark zur Verarbeitung von Daten
• Umgang mit unterschiedlichen Datendateien
• Datenvisualisierungstechniken in Azure Databricks
• Übung: Spark-basierte Datenverarbeitung praktisch anwenden

Datenmanagement mit Delta Lake

• Einführung in Delta Lake und die Vorteile für Datenspeicherung und -management
• Verwaltung von ACID-Transaktionen zur Datensicherheit
• Durchsetzung von Schemaregeln in Tabellen
• Rückverfolgbarkeit von Datenständen durch Zeitreisen (Data Versioning)
• Sicherstellung der Datenintegrität mit Delta Lake
• Übung: Praktisches Arbeiten mit Delta Lake

Entwicklung von Datenpipelines mit Delta Live Tables

• Vorstellung von Delta Live Tables und deren Möglichkeiten
• Datenintegration und -aufnahme automatisieren
• Echtzeitdatenverarbeitung umsetzen
• Übung: Erstellung einer End-to-End-Datenpipeline mit Delta Live Tables

Bereitstellung und Automatisierung von Workloads

• Verwendung von Azure Databricks Workflows zur Workflow-Orchestrierung
• Verständnis der Hauptkomponenten eines Workflow-Systems in Databricks
• Vorteile und Anwendungsfälle von Workflows kennenlernen
• Praktische Umsetzung: Erstellen und Ausrollen von Workloads über Databricks-Workflows
  

Teilnehmer sollten bereits mit relationalen Datenbanken, grundlegenden Konzepten von Cloud-Architekturen und Data Lakes sowie gängigen Analyse- und Präsentationswerkzeugen vertraut sein. Der Fokus liegt auf Anwendern, die den Aufbau und Betrieb von Data Lakehouse-Lösungen verstehen und Daten zur effizienten Analyse durch Dritte aufbereiten möchten.

Die Zielgruppe für das Seminar „DP-3011 Implementing a Data Analytics Solution with Azure Databricks (DP-3011-A)“ sind Datenanalysten und Data Engineers, die mit großen Datenmengen arbeiten und moderne Analyse-Workflows in der Clo

D