Konfigurieren und Ausführen der Datenprofilerstellung für ein Datenasset

Bei der Datenprofilerstellung werden die in verschiedenen Datenquellen verfügbaren Daten untersucht und Statistiken und Informationen zu diesen Daten gesammelt. Die Datenprofilerstellung hilft Ihnen, das Qualitätsniveau der Daten anhand definierter Ziele zu bewerten. Wenn Daten von schlechter Qualität sind oder in Strukturen verwaltet werden, die nicht integriert werden können, um die Anforderungen der Organization zu erfüllen, leiden Geschäftsprozesse und Entscheidungsfindung. Die Datenprofilerstellung ermöglicht es Ihnen, die Vertrauenswürdigkeit und Qualität Ihrer Daten zu verstehen, was eine Voraussetzung ist, um datengesteuerte Entscheidungen zu treffen, die den Umsatz steigern und das Wachstum fördern.

Voraussetzungen

  • Zum Ausführen und Planen von Scans zur Bewertung der Datenqualität müssen Ihre Benutzer die Rolle "Data Quality Steward" innehaben.
  • Derzeit können Sie das Microsoft Purview-Konto so einrichten, dass der öffentliche Zugriff oder der verwaltete Zugriff auf virtuelle Netzwerke zugelassen wird, damit Datenqualitätsüberprüfungen ausgeführt werden können.

Lebenszyklus der Datenqualität

Die Erstellung von Datenprofilen ist der fünfte Schritt im Lebenszyklus der Datenqualität für ein Datenasset. Die vorherigen Schritte sind:

  1. Weisen Sie Benutzer(n) Data Quality Steward-Berechtigungen in Unified Catalog zu, um alle Datenqualitätsfeatures zu verwenden.
  2. Registrieren und scannen Sie eine Datenquelle in Ihrer Purview-Datenzuordnung.
  3. Fügen Sie Ihr Datenasset zu einem Datenprodukt hinzu.
  4. Richten Sie eine Datenquellenverbindung ein, um Ihre Quelle für die Datenqualitätsbewertung vorzubereiten.

Unterstützte Multicloud-Datenquellen

Durchsuchen Sie das Dokument mit den unterstützten Datenquellen , um die Liste der unterstützten Datenquellen anzuzeigen, einschließlich Dateiformaten für die Datenprofilerstellung und das Scannen von Datenqualität, mit und ohne Unterstützung virtueller Netzwerke.

Wichtig

Data Quality für Parquet-Datei unterstützt Folgendes:

  1. Ein Verzeichnis mit Parquet-Part-Datei. Beispiel: ./Sales/{Parquet Part Files}. Der vollqualifizierte Name muss folgen https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}. Stellen Sie sicher, dass Sie keine {n} Muster in der Verzeichnis- oder Unterverzeichnisstruktur haben; es muss sich um einen direkten FQN handeln, der zu {SparkPartitions} führt.
  2. Ein Verzeichnis mit partitionierten Parquet-Files, partitioniert nach Spalten innerhalb des Datasets, z. B. Umsatzdaten, partitioniert nach Jahr und Monat. Beispiel: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}.

Beide wesentlichen Szenarien, die ein konsistentes Parquet-Datasetschema darstellen, werden unterstützt. Einschränkung: Es ist nicht dafür konzipiert oder unterstützt nicht N beliebige Hierarchien von Verzeichnissen mit Parquet-Dateien. Es wird empfohlen, Daten in (1) oder (2) konstruierter Struktur darzustellen.

Unterstützte Authentifizierungsmethoden

Derzeit kann Microsoft Purview nur Datenqualitätsüberprüfungen ausführen, indem die verwaltete Identität als Authentifizierungsoption verwendet wird. Datenqualitätsdienste werden auf Apache Spark 3.5 und Delta Lake 3.2.1 ausgeführt. Weitere Informationen zu unterstützten Regionen finden Sie in der Übersicht zur Datenqualität.

Wichtig

  • Wenn Sie das Schema in der Datenquelle aktualisieren, müssen Sie das Schema über die Datenqualitätsübersichtsseite mithilfe der Schemaimportfunktion importieren, bevor Sie die Datenprofilerstellung ausführen.
  • Das virtuelle Netzwerk wird für Google BigQuery nicht unterstützt.
  • In der aktuellen Version können Sie Profile für 50 Spalten pro Batch erstellen. Wenn Ihr Datenobjekt mehr als 50 Spalten aufweist, können Sie zusätzliche Spalten in weiteren Batches profilieren.
  • Bei der Profilerstellung wird eine Zufallsstichprobe aus dem ausgewählten Datenobjekt verwendet, die Stichprobengröße beträgt 1 Million Datensätze.
  • Wenn eine Spalte einen unterschiedlichen Wert enthält, erstellen Sie kein Profil für diese Spalte. Eine Spalte mit unterschiedlichen Werten kann keine Normalverteilung erstellen.

Schritte zum Konfigurieren des Datenprofilerstellungsauftrags

  1. Konfigurieren Sie eine Datenquellenverbindung mit den Assets, die Sie auf Datenqualität überprüfen, falls Sie dies noch nicht getan haben.

  2. Wählen Sie im Microsoft Purview Unified Catalog die Option "Integritätsverwaltung" und dann "Datenqualität" aus.

  3. Wählen Sie eine Governancedomäne aus der Liste aus.

  4. Wählen Sie ein Datenprodukt aus, um ein Profil eines mit diesem Produkt verknüpften Datenassets zu erstellen.

  5. Wählen Sie ein Datenobjekt aus, um zur Datenqualitätsübersichtsseite für die Profilerstellung zu navigieren.

  6. Schaltfläche "Profil" auswählen, um den Profilerstellungsauftrag für das ausgewählte Datenasset auszuführen.

  7. Die KI-Empfehlungs-Engine schlägt potenziell wichtige Spalten vor, für die die Datenprofilerstellung ausgeführt werden soll. Sie können empfohlene Spalten deaktivieren und/oder weitere Spalten auswählen, für die ein Profil erstellt werden soll.

  8. Nachdem Sie die relevanten Spalten ausgewählt haben, wählen Sie " Profil ausführen" aus.

  9. Während der Ausführung des Auftrags können Sie seinen Fortschritt auf der Seite Datenqualitätsüberwachung in der Governancedomäne nachverfolgen.

  10. Wenn der Auftrag abgeschlossen ist, wählen Sie die Registerkarte Profil im linken Menü der Datenqualitätsseite des Assets, um das Profilerstellungsergebnis und die statistische Momentaufnahme aufzulisten. Es kann mehrere Profilergebnisseiten geben, je nachdem, wie viele Spalten Ihre Datenressourcen haben.

  11. Durchsuchen Sie die Profilerstellungsergebnisse und statistischen Kennzahlen für jede Spalte.

Grundlegendes zu Profilerstellungsergebnissen

  • Minimum: Mindestlänge der Zeichen in der Spalte.
  • Maximum: Maximale Länge der Zeichen in der Spalte.
  • Verteilung: Normalverteilung Ihrer Daten.
  • Eindeutige Werte: Werte, die sich nicht wiederholen; Sie sind einzigartig.
  • Doppelte Werte: Werte, die sich mehr als einmal wiederholen.
  • Leere/leere Werte: Die Spalte ist leer oder leer.
  • Null: Nullwerte in der Spalte.
  • Mittelwert: Mittelwert oder arithmetisches Mittel.
  • Standardabweichung: Ein statistisches Maß, das das Ausmaß der Variation oder Streuung in einer Reihe von Werten quantifiziert.

Verwandte Inhalte

Nächste Schritte

  1. Richten Sie auf der Grundlage der Profilerstellungsergebnisse Regeln für die Datenqualität ein, und wenden Sie diese auf Ihr Datenasset an.
  2. Konfigurieren und führen Sie einen Datenqualitätsscan für ein Datenprodukt durch, um die Qualität aller unterstützten Ressourcen im Datenprodukt zu bewerten.
  3. Überprüfen Sie Ihre Überprüfungsergebnisse , um die aktuelle Datenqualität Ihres Datenprodukts zu bewerten.
  • Zuletzt aktualisiert um