Teilnahmeanfrage

Im Seminar DP-3011 Implementing a Data Analytics Solution with Azure Databricks lernen Data Scientists, wie sie mithilfe der leistungsstarken Funktionen von Apache Spark und Azure Databricks Daten effizient vorbereiten und analysieren. 

Der Kurs behandelt die Verwaltung von Datenqualität und -versionierung mit Delta Lake, das Erstellen automatisierter Pipelines mit Delta Live Tables sowie das Implementieren von Governance über den Unity Catalog. Sie erfahren, wie Workflows für produktive Bereitstellungen orchestriert und gemeinsame Entwicklungen mit Python- und SQL-Notizbüchern durchgeführt werden, um skalierbare Datenlösungen bereitzustellen.

Grundlegendes zu Azure Databricks

• Überblick über Azure Databricks und seine Einsatzmöglichkeiten
• Erste Schritte und Orientierung im Azure Databricks-Umfeld
• Verschiedene Workload-Typen in Azure Databricks verstehen
• Grundkonzepte und Architektur von Azure Databricks

Data Governance und Sicherheit

• Verwaltung von Datenzugriff mit Unity Catalog
• Integration von Microsoft Purview für Daten-Governance und Compliance

Datenanalyse mit Azure Databricks

• Import und Erfassung von Daten
• Nutzung integrierter Tools zur Datenexploration
• Analyse von Daten mithilfe von DataFrame-APIs
• Übung: Daten untersuchen und analysieren

Arbeiten mit Apache Spark

• Grundlagen und Einsatzgebiete von Apache Spark
• Erstellen und Konfigurieren von Spark-Clustern
• Arbeiten mit Notebooks und Spark zur Verarbeitung von Daten
• Umgang mit unterschiedlichen Datendateien
• Datenvisualisierungstechniken in Azure Databricks
• Übung: Spark-basierte Datenverarbeitung praktisch anwenden

Datenmanagement mit Delta Lake

• Einführung in Delta Lake und die Vorteile für Datenspeicherung und -management
• Verwaltung von ACID-Transaktionen zur Datensicherheit
• Durchsetzung von Schemaregeln in Tabellen
• Rückverfolgbarkeit von Datenständen durch Zeitreisen (Data Versioning)
• Sicherstellung der Datenintegrität mit Delta Lake
• Übung: Praktisches Arbeiten mit Delta Lake

Entwicklung von Datenpipelines mit Delta Live Tables

• Vorstellung von Delta Live Tables und deren Möglichkeiten
• Datenintegration und -aufnahme automatisieren
• Echtzeitdatenverarbeitung umsetzen
• Übung: Erstellung einer End-to-End-Datenpipeline mit Delta Live Tables

Bereitstellung und Automatisierung von Workloads

• Verwendung von Azure Databricks Workflows zur Workflow-Orchestrierung
• Verständnis der Hauptkomponenten eines Workflow-Systems in Databricks
• Vorteile und Anwendungsfälle von Workflows kennenlernen
• Praktische Umsetzung: Erstellen und Ausrollen von Workloads über Databricks-Workflows