Erfassung von Daten mit CDC-Datenstrom

Abgeschlossen

Tip

Weitere Details finden Sie auf der Registerkarte "Text und Bilder ".

Wenn Quellsysteme täglich Millionen von Transaktionen generieren, wird das Neuladen ganzer Tabellen unpraktisch. Sie benötigen eine Möglichkeit, nur die Änderungen – Fügt, Aktualisierungen und Löschungen – zu erfassen und effizient auf Ihre Zieltabellen anzuwenden. Dieses Muster, das als Änderungsdatenerfassung (Change Data Capture, CDC) bezeichnet wird, bildet die Grundlage moderner inkrementeller Datenpipelines.

CDC-Erfassungsmuster verstehen

Die Erfassung von Änderungen an Daten beinhaltet das Lesen eines Stroms von Änderungsdatensätzen aus einem Quellsystem und das Anwenden dieser Änderungen auf eine Zieltabelle. Im Gegensatz zu vollständigen Tabellenladevorgängen verarbeitet CDC nur das, was sich seit der letzten Synchronisierung geändert hat, wodurch die Verarbeitungszeit und der Ressourcenverbrauch reduziert werden.

Diagramm zur Erläuterung von CDC-Aufnahmemustern.

Ein typischer CDC-Feed enthält Datensätze mit der folgenden Struktur:

  • Datenspalten: Die tatsächlichen Werte für jedes Feld in der Quelltabelle
  • Vorgangstyp: Gibt an, ob der Datensatz ein INSERT-, UPDATE- oder DELETE-Element ist.
  • Sequenzspalte: Eine Zeitstempel- oder Sequenznummer, die die Reihenfolge der Änderungen bestimmt.

Erwägen Sie eine Mitarbeitertabelle, in der Name und Standort nachverfolgt werden. Wenn Sie die Stadt eines Mitarbeiters aktualisieren, sendet der CDC-Feed nicht die gesamte Tabelle – er sendet einen einzelnen Datensatz mit dem neuen Stadtwert, dem Vorgangstyp UPDATE und einer Sequenznummer. Ihre Aufnahmepipeline liest diesen Datensatz und wendet die Änderung auf die entsprechende Zeile in der Zieltabelle an.

Dieser Ansatz bietet für Dateningenieure mehrere Vorteile:

  • Geringere Latenzzeit: Änderungen fließen innerhalb von Minuten statt Stunden zum Zielort
  • Niedrigere Kosten: Die Verarbeitung weniger Datensätze bedeutet weniger Rechenzeit und Speicher-E/A
  • Minimale Auswirkungen auf die Quelle: Durch das Lesen von Änderungsprotokollen werden Produktionsdatenbanken weniger belastet als vollständige Tabellenscans

Verarbeiten von CDC mit der AUTO CDC-API

Azure Databricks stellt die AUTO CDC-API in Lakeflow-Pipelines bereit, um die Änderungsdatenverarbeitung zu vereinfachen. Diese API behandelt die Komplexität von Out-of-Order-Datensätzen, die Deduplizierung und die Änderungsanwendung automatisch.

Um die CDC-Verarbeitung zu implementieren, erstellen Sie zunächst eine Streaming-Tabelle als Ziel. Anschließend definieren Sie einen Ablauf, der Änderungsdatensätze aus der Quelle liest und wendet diese mithilfe des geeigneten SCD-Typs (langsam ändernde Dimension) an.

SCD Typ 1 behält nur die aktuelle Version jedes Datensatzes bei:

from pyspark import pipelines as dp
from pyspark.sql.functions import col, expr

@dp.temporary_view
def employees_cdf():
    return spark.readStream.table("bronze.employee_changes")

dp.create_streaming_table("employees")

dp.create_auto_cdc_flow(
    target="employees",
    source="employees_cdf",
    keys=["employee_id"],
    sequence_by=col("sequence_num"),
    apply_as_deletes=expr("operation = 'DELETE'"),
    except_column_list=["operation", "sequence_num"],
    stored_as_scd_type=1
)

Wenn ein Mitarbeiter von Seattle nach Portland wechselt, aktualisiert die Zieltabelle mit SCD Type 1 die Stadtspalte direkt. Der Seattle-Datensatz verschwindet - nur Portland bleibt.

SCD Typ 2 behält den vollständigen Verlauf der Änderungen bei:

dp.create_streaming_table("employees_history")

dp.create_auto_cdc_flow(
    target="employees_history",
    source="employees_cdf",
    keys=["employee_id"],
    sequence_by=col("sequence_num"),
    apply_as_deletes=expr("operation = 'DELETE'"),
    except_column_list=["operation", "sequence_num"],
    stored_as_scd_type=2
)

SCD Type 2 fügt __START_AT und __END_AT Spalten hinzu, zur Nachverfolgung, wann jede Version aktiv war. Der Seattle-Datensatz verbleibt mit einem Enddatum, während ein neuer Portland-Datensatz ohne Enddatum angezeigt wird. Analysten können die Tabelle abfragen, um genau zu sehen, wann und wie sich mitarbeiterdaten im Laufe der Zeit geändert haben.

Einige Quellsysteme geben Teilaktualisierungsdatensätze aus, die nur die geänderten Spalten und nicht vollständige Zeilenabbildungen enthalten. In diesen Fällen würde das direkte Anwenden des Updates unveränderte Spalten mit NULL-Werten überschreiben. Der Parameter ignore_null_updates (Python) oder IGNORE NULL UPDATES Klausel (SQL) verhindert Folgendes: Wenn ein CDC-Event einer vorhandenen Zeile entspricht, lassen alle Nullwerte im eingehenden Datensatz die vorhandenen Spaltenwerte intakt, anstatt sie zu überschreiben.

Konfigurieren von CDC-Flüssen in SQL

Die gleichen CDC-Muster funktionieren in SQL mit deklarativer Syntax. SQL-Flüsse lassen sich natürlich in Medallion-Architekturpipelines integrieren, in denen Sie Bronze-, Silber- und Goldschichten definieren.

CREATE OR REFRESH STREAMING TABLE employees;

CREATE FLOW employees_cdc_flow
AS AUTO CDC INTO employees
FROM stream(bronze.employee_changes)
KEYS (employee_id)
APPLY AS DELETE WHEN operation = 'DELETE'
SEQUENCE BY sequence_num
COLUMNS * EXCEPT (operation, sequence_num)
STORED AS SCD TYPE 1;

Die SQL-Syntax spiegelt die Python-API wieder. Sie geben die Zieltabelle, den Quelldatenstrom, die Schlüsselspalten, die Löschbedingung, die Sequenzierungsspalte und den SCD-Typ an. Spalten, die Sie im Ziel nicht benötigen – z. B. die Vorgangs- und Sequenzspalten – werden mit der EXCEPT Klausel ausgeschlossen.

Für die Verlaufsverfolgung mit SCD-Typ 2 können Sie auch einschränken, welche Spalten neue Verlaufsdatensätze auslösen:

CREATE FLOW employees_history_flow
AS AUTO CDC INTO employees_history
FROM stream(bronze.employee_changes)
KEYS (employee_id)
SEQUENCE BY sequence_num
COLUMNS * EXCEPT (operation, sequence_num)
STORED AS SCD TYPE 2
TRACK HISTORY ON * EXCEPT (last_login);

Bei dieser Konfiguration wird bei Änderungen in der Spalte last_login der vorhandene Datensatz aktualisiert. Nur Änderungen an anderen Spalten , z. B. Name oder Abteilung, erstellen neue historische Versionen.

Bearbeitung von Ereignissen außerhalb der Reihenfolge

Verteilte Systeme liefern häufig Ereignisse außerhalb der Reihenfolge. Eine Netzwerkverzögerung kann dazu führen, dass nach einem neueren Update ein älteres Update eingeht. Die AUTO CDC-API behandelt dieses Szenario automatisch mithilfe der von Ihnen angegebenen Sequenzspalte.

Wenn zwei Updates für denselben Schlüssel eingehen, vergleicht die API ihre Sequenzwerte. Wenn die neuere Aktualisierung (höhere Sequenznummer) bereits angewendet wurde und ein älteres Update verspätet eingeht, ignoriert die API den spät eintreffenden Datensatz. Dadurch wird sichergestellt, dass die Zieltabelle immer den richtigen endgültigen Zustand widerspiegelt.

Diagramm zur Erläuterung der Handhabung von Out-of-Order-Ereignissen.

Ohne diese integrierte Behandlung müssen Sie komplexe Zusammenführungslogik schreiben, die Zeitstempel überprüft, Versionen vergleicht und Updates bedingt anwendet. Die AUTO CDC-API kapselt all diese Logik, sodass Sie sich auf Ihre Geschäftsanforderungen und nicht auf die Behandlung von Randfällen konzentrieren können.