Einleitung

Dateningenieure stellen sich einer grundlegenden Herausforderung: Daten aus verschiedenen Quellen effizient und zuverlässig in eine einheitliche Analyseplattform zu bringen. Unabhängig davon, ob Ihre Organisation mit Batchdateien im Cloudspeicher, Streamingereignissen von Kafka oder Transaktionsdaten aus betrieblichen Datenbanken arbeitet, benötigen Sie Aufnahmemethoden, die jedes Szenario behandeln, während die Datenqualität und -governance beibehalten werden. Unity Catalog in Azure Databricks bietet die Grundlage für diesen einheitlichen Ansatz und bietet zentrale Governance für alle Ihre aufgenommenen Daten.

Azure Databricks bietet mehrere Aufnahmetechniken, die jeweils für bestimmte Datenmuster und -anforderungen optimiert sind. Lakeflow Connect stellt verwaltete Connectors für allgemeine Unternehmensquellen wie SQL Server und Salesforce bereit, sodass benutzerdefinierter Extraktionscode nicht mehr benötigt wird. Notizbücher ermöglichen Ihnen die vollständige Kontrolle über die Aufnahmelogik mithilfe von Python, SQL oder Scala. SQL-Befehle wie COPY INTO und CREATE TABLE AS SELECT bieten deklarative Ansätze für die dateibasierte Erfassung. Für Echtzeitworkloads verarbeiten Spark Structured Streaming und Auto Loader Daten kontinuierlich, sobald sie eintreffen, unter der Garantie der Genau-einmal-Verarbeitung.

Wenn Sie wissen, wann sie die einzelnen Techniken anwenden, können Sie stabile Datenpipelines erstellen, die mit Ihrer Organisation skaliert werden. Sie erfahren, wie Sie verwaltete Connectors für Unternehmensdatenquellen konfigurieren, Notizbuchcode für benutzerdefinierte Ingestionsszenarien schreiben, SQL-Befehle für dateibasierte Batchladevorgänge verwenden, Change-Data-Capture-Feeds inkrementell verarbeiten, Daten aus Nachrichtenbussen wie Kafka und Event Hubs streamen, Auto Loader für automatische Dateierkennung konfigurieren und Erfassungsworkflows mit Lakeflow-Pipelines orchestrieren.

Am Ende dieses Moduls können Sie den richtigen Aufnahmeansatz für jede Datenquelle auswählen und implementieren, um sicherzustellen, dass Ihre Daten in Unity-Katalogtabellen mit ordnungsgemäßer Governance und optimaler Leistung landen.