Native Unterstützung der Datenqualität für das Iceberg-Format (Vorschau)

Microsoft Purview unterstützt die Bewertung der Datenqualität für Apache Iceberg-Datenressourcen. Sie können Iceberg-Daten für diese Speicherquellen zusammenstellen, steuern und überprüfen:

• Azure Data Lake Storage Gen2
• Microsoft Fabric Lakehouse
• Amazon Web Services (AWS) S3
• Google Cloud Platform (GCP) Cloud Storage (GCS)

In diesem Artikel wird die Iceberg-Dateistruktur erläutert, wie Sie Überprüfungen der Datenqualität einrichten. Außerdem werden Tipps für jeden Katalog und Speichertyp aufgelistet.

Iceberg-Dateistruktur

Eine Iceberg-Tabelle ist mehr als nur eine Sammlung von Datendateien. Es enthält verschiedene Metadatendateien, die den Zustand der Tabelle nachverfolgen und Vorgänge wie Lese-, Schreib- und Schemaentwicklung erleichtern. Eine Iceberg-Tabelle enthält einen Katalog, eine Metadatenebene und eine Datenebene. Die Datendateien in einer Iceberg-Tabelle werden in der Regel in spaltenbasierten Formaten wie Apache Parquet, Apache Avro oder Apache Optimized Row Columnar (ORC) gespeichert. Diese Dateien enthalten die tatsächlichen Daten, mit denen Benutzer während Abfragen interagieren.

Übersicht über die Katalogebene

Der Iceberg-Katalog befindet sich ganz oben in der Hierarchie. Es speichert den aktuellen Metadatenzeiger für jede Tabelle. Der Katalog ermöglicht die Nachverfolgung des letzten Zustands einer Tabelle durch Verweisen auf die aktuelle Metadatendatei.

Übersicht über die Metadatenebene

Die Metadatenebene ist von zentraler Bedeutung für die Funktionalität von Iceberg. Es enthält die folgenden Schlüsselelemente:

• Metadatendatei: Enthält Informationen zum Schema, zur Partitionierung und zu Momentaufnahmen der Tabelle. Im Diagramm bezieht sich s0 auf einen Momentaufnahme, einen Datensatz des Tabellenzustands zu einem bestimmten Zeitpunkt. Wenn mehrere Momentaufnahmen vorhanden sind (z. B. s0 und s1), verfolgt die Metadatendatei beides nach.
• Manifestliste: Verweist auf eine oder mehrere Manifestdateien. Eine Manifestliste fungiert als Container mit Verweisen auf diese Manifeste. Iceberg hilft dabei, zu verwalten, welche Datendateien während verschiedener Vorgänge gelesen oder geschrieben werden sollen. Jede Momentaufnahme kann über eine eigene Manifestliste verfügen.

Übersicht über die Datenebene

Auf der Datenebene fungieren die Manifestdateien als Vermittler zwischen den Metadaten und den eigentlichen Datendateien. Jede Manifestdatei verweist auf eine Sammlung von Datendateien und stellt eine Zuordnung der physischen Dateien bereit, die im Data Lake gespeichert sind.

• Manifestdateien: Speichern Sie die Metadaten für eine Gruppe von Datendateien, einschließlich Zeilenanzahl, Partitionsinformationen und Dateipfade. Sie ermöglichen es Iceberg, bestimmte Dateien schnell zu löschen und darauf zuzugreifen.
• Datendateien: Enthalten die tatsächlichen Daten, die in Formaten wie Parquet, ORC oder Avro gespeichert sind. Iceberg organisiert Datendateien basierend auf Partitionen, wodurch unnötige Datenscans während der Abfrageausführung minimiert werden.

Zusammenarbeit von Iceberg-Komponenten

Wenn Sie Daten abfragen oder aktualisieren, sucht Iceberg die Metadatendatei der Tabelle über den Katalog. Die Metadatendatei verweist auf die aktuelle Momentaufnahme (oder mehrere Momentaufnahmen). Jede Momentaufnahme verweist auf eine Manifestliste, die auf Manifestdateien verweist. Die Manifestdateien listen die Datendateien auf. Mit dieser mehrstufigen Suche kann Iceberg große Datasets verwalten und gleichzeitig Lese- und Schreibvorgänge konsistent halten. Leser und Autoren sehen immer einen kohärenten Tabellenzustand. Der Momentaufnahme-basierte Entwurf ermöglicht auch Zeitreisen (Abfragen früherer Tabellenzustände) und Schemaentwicklung.

Der gleiche mehrstufige Ansatz steigert die Leistung für Batch- und Streamingvorgänge. Nur die erforderlichen Datendateien werden gelesen, und Updates verwenden Momentaufnahmen, ohne das vollständige Dataset zu ändern.

Eisbergdaten in OneLake

Sie können Iceberg-formatierte Daten nahtlos in Microsoft Fabric ohne Datenverschiebung oder Duplizierung nutzen. Verwenden Sie OneLake-Tastenkombinationen, um direkt auf eine Datenebene zu verweisen.

Iceberg-Daten werden in OneLake gespeichert und mit Snowflake oder einem anderen Iceberg-Writer geschrieben. OneLake virtualisiert die Tabelle als Delta Lake-Tabelle, wodurch eine umfassende Kompatibilität zwischen Fabric-Engines sichergestellt wird. Sie können beispielsweise ein Volume in Snowflake erstellen und direkt auf fabric Lakehouse verweisen. Sobald die Iceberg-Tabelle in OneLake erstellt wurde, spiegelt die automatische Synchronisierung Datenaktualisierungen in Echtzeit wider. Weitere Informationen finden Sie unter Konfigurieren eines externen Iceberg-Volumes für Azure in der Snowflake-Dokumentation.

Datenqualität für Iceberg-Daten

Konfigurieren Sie für alle Benutzer, die Daten in Iceberg auf Parquet, ORC oder Avro auf Data Lake Storage Gen2 oder Fabric Lakehouse nativ aktivieren, eine Überprüfung, die auf den Speicherort des Verzeichnisses verweist, das die Iceberg-Verzeichnisse für Daten und Metadaten hostet. Führen Sie die folgenden Schritte aus, um die Unterstützung der Iceberg-Datenqualität zu konfigurieren:

1. Konfigurieren und Ausführen einer Überprüfung in Microsoft Purview Data Map.
2. Konfigurieren Sie das Verzeichnis, in dem Daten und Metadaten gehostet werden, als Datenressource, und ordnen Sie es einem Datenprodukt zu. Das Zuordnen des Verzeichnisses als Datenressource und das Verknüpfen mit einem Datenprodukt bildet das Iceberg-Dataset. Erfahren Sie, wie Sie Einem Datenprodukt Datenressourcen zuordnen.
3. Wählen Sie in Unified Catalog unter Integritätsverwaltung die Option Datenqualitätsansicht aus, um Ihre Iceberg-Dateien (Datenasset) zu finden und eine Datenquellenverbindung einzurichten.
   1. Führen Sie zum Einrichten einer Data Lake Storage Gen2 Verbindung die Schritte unter Einrichten der Datenquellenverbindung für die Datenqualität aus.
   2. Führen Sie zum Einrichten einer Fabric OneLake-Verbindung die Schritte unter Einrichten der Datenqualität für Fabric Lakehouse-Daten aus.
4. Wählen Sie auf der Seite Schema der ausgewählten Iceberg-Datei (Datenressource) die Option Schema importieren aus, um das Schema aus der Datenquelle zu importieren.
5. Wählen Sie auf der Seite Übersicht der Iceberg-Datei im Dropdownmenü Datenressource die Option Iceberg aus.
6. Wenden Sie Datenqualitätsregeln an, und führen Sie Datenqualitätsscans für die Datenqualitätsbewertung auf Spalten- und Tabellenebene durch.

Profilerstellung und Datenqualitätsüberprüfung

Nachdem Sie die Verbindungseinrichtung und die Auswahl des Dateiformats für datenassetobjekte abgeschlossen haben, können Sie ein Profil für Ihre Daten erstellen, Regeln erstellen und anwenden und eine Datenqualitätsüberprüfung Ihrer Daten in Iceberg-Dateien im offenen Format ausführen. Eine schritt-für-Schritt-Anleitung finden Sie in den folgenden Artikeln:

• Konfigurieren und Ausführen der Datenprofilerstellung für eine Datenressource
• Konfigurieren und Ausführen einer Datenqualitätsüberprüfung

Aktuelle Einschränkungen für die Iceberg-Datenqualität

Die aktuelle Vorschauversion von Microsoft Purview unterstützt nur Daten, die im Iceberg-Format mit dem Apache Hadoop-Katalog (einer dateibasierten Katalogimplementierung) erstellt wurden. Snowflake-Katalogszenarien werden nur durch Deltavirtualisierung mit OneLake-Tastenkombinationen unterstützt.

Lakehouse-Pfad und Data Lake Storage Gen2-Pfad

• Iceberg Metadata speichert den vollständigen Pfad für die Daten und Metadaten. Stellen Sie sicher, dass Sie den vollständigen Pfad für Data Lake Storage Gen2 und Fabric Lakehouse verwenden. Stellen Sie außerdem für den Fabric Lakehouse-Pfad während des Schreibvorgangs den Betrieb (WRITES, UPSERTS) mit den ID-Pfaden sicher. Das folgende Beispiel zeigt das erforderliche ABFSS-Pfadformat. Ersetzen Sie <filesystem-ID> und <lakehouse-ID> durch Ihre tatsächlichen GUIDs:

  abfss://<filesystem-ID>@onelake.dfs.fabric.microsoft.com/<lakehouse-ID>/Files/CustomerData
  

• Dateisystem als ID und Lakehouse als ID. Absolute und keine relativen Pfade sind erforderlich, damit Microsoft Purview die Datenqualität auf Iceberg durchführen kann. Überprüfen Sie zur Überprüfung den Pfad der Momentaufnahmen so, dass er als vollständige FQN-Pfade (Fully Qualified Name) verweist.

Schemaerkennung

• Data Map kann das Iceberg-Schema nicht erkennen. Beim Zusammenstellen der Iceberg-Verzeichnisse in Fabric Lakehouse oder Data Lake Storage Gen2 können Sie das Schema nicht überprüfen. Das Datenqualitäts-Abrufschema kann jedoch das Schema für das kuratierte Medienobjekt abrufen.

Empfehlungen für die Iceberg Data Quality-Konfiguration

Wählen Sie den Ansatz aus, der Ihrem Katalog und Speicher entspricht:

Verwandte Ressourcen

In diesen Artikeln wird die Einrichtung und Überprüfung der Datenqualität behandelt:

• Einrichten einer Datenquellenverbindung für die Datenqualität
• Konfigurieren und Ausführen der Datenprofilerstellung für eine Datenressource
• Konfigurieren und Ausführen einer Datenqualitätsüberprüfung
• Einrichten der Datenqualität für Fabric Lakehouse-Verknüpfungsdatenquellen
• Problembehandlung bei der Datenqualität