Einrichten der Datenqualität für Snowflake-Daten

In diesem Artikel erfahren Sie, wie Sie eine Snowflake-Quelle registrieren, einen Data Map-Scan ausführen und eine Datenqualitätsverbindung in Microsoft Purview Unified Catalog konfigurieren. Nachdem Sie diese Schritte ausgeführt haben, können Sie für Ihre Snowflake-Daten ein Profil erstellen und Datenqualitätsüberprüfungen durchführen.

Unterstützte Snowflake-Metadaten

Wenn Sie Snowflake-Datenquellen scannen, extrahiert Microsoft Purview technische Metadaten. Der Scan erfasst die folgenden Objekte:

• Server, Datenbanken, Schemas und Tabellen
• Sichten, Fremdschlüssel und eindeutige Einschränkungen
• Gespeicherte Prozeduren und ihre Parameter
• Funktionen und ihre Parameter
• Pipes, Stages und Streams
• Aufgaben und Sequenzen

Registrieren einer Snowflake-Quelle in Data Map

Gehen Sie folgendermaßen vor, um eine neue Snowflake-Quelle in Microsoft Purview Unified Catalog zu registrieren:

1. Melden Sie sich beim Microsoft Purview-Portal an.
2. Wählen Sie die Karte für die Datenzuordnungslösung aus. Wenn die Datenzuordnungslösungs-Karte nicht angezeigt wird, wählen Sie Alle Lösungen anzeigen und dann im Abschnitt Kern die Option Datenzuordnung aus.
3. Wählen Sie Registrieren aus.
4. Wählen Sie unter "Quellen registrieren" die Option Snowflake aus.

Einrichten eines Datenzuordnungsscans

Führen Sie die folgenden Schritte aus, um einen Scan für Ihre registrierte Snowflake-Quelle einzurichten:

1. Wählen Sie die registrierte Snowflake-Quelle aus.
2. Wählen Sie Neuer Scan aus.
3. Geben Sie die folgenden Details an:
   • Name: Der Name des Scans.
   • Verbindung über Integration Runtime herstellen: Wählen Sie die automatisch aufgelöste Integration Runtime, Managed Virtual Network IR oder SHIR für Ihr Szenario aus.
   • Host für Verbindung: Wählen Sie die Server-URL oder einen anderen Host aus, den Sie in der Datenquelle konfiguriert haben.
   • Anmeldeinformationen: Wählen Sie die Anmeldeinformationen für Ihre Datenquelle aus. Verwenden Sie die Standardauthentifizierung, geben Sie den Snowflake-Benutzernamen an, und speichern Sie das Kennwort im geheimen Schlüssel.
   • Lagerort: Geben Sie den Lagerortnamen in Großbuchstaben an. Die Standardrolle der Anmeldeinformationen muss über USAGE-Rechte für dieses Warehouse verfügen.
   • Datenbanken: Geben Sie einen oder mehrere Datenbanknamen in Großbuchstaben an, getrennt durch Semikolons (z. B DB1;DB2. ). Die Standardrolle der Anmeldeinformationen muss über Rechte für diese Datenbankobjekte verfügen.
   • Schema: Listen Sie die zu importierenden Schemata auf, getrennt durch Semikolons.
4. Wählen Sie "Verbindung testen" aus, um die Einstellungen zu überprüfen (verfügbar bei Verwendung von Azure Integration Runtime).
5. Wählen Sie Weiter.
6. Wählen Sie einen Scan-Regelsatz für die Klassifizierung aus. Sie können zwischen den Systemstandardregeln oder vorhandenen benutzerdefinierten Regelsätzen wählen oder inline einen neuen Regelsatz erstellen.
7. Überprüfen Sie Ihren Scan, und wählen Sie Speichern und Ausführen aus.

Nach Abschluss der Überprüfung ist das Datenobjekt in Snowflake in der Unified Catalog-Suche verfügbar. Weitere Informationen zum Verbinden und Verwalten von Snowflake in Microsoft Purview finden Sie unter Verbinden mit und Verwalten von Snowflake in Microsoft Purview.

Einrichten einer Snowflake-Datenqualitätsverbindung

Nach Abschluss der Überprüfung ist das gescannte Objekt bereit für die Katalogisierung und Governance. Um Datenqualitätsscans für das Medienobjekt auszuführen, richten Sie eine Snowflake-Verbindung in Microsoft Purview ein.

1. Öffnen Sie im Microsoft Purview-Portalden Unified Catalog.

2. Wählen Sie unter "Gesundheitsverwaltung" die Option "Datenqualität" aus.

3. Wählen Sie eine Governancedomäne aus der Liste und dann in der Dropdownliste "Verwalten" die Option "Verbindungen" aus.

4. Konfigurieren Sie die Verbindung auf der Seite "Verbindungen ":

   • Fügen Sie einen Verbindungsnamen und eine Beschreibung hinzu.
   • Wählen Sie den Quelltyp Snowflake aus.
   • Fügen Sie den Servernamen, den Warehouse-Namen, den Datenbanknamen, den Schemanamen und den Tabellennamen hinzu.
   • Wählen Sie eine Authentifizierungsmethode aus: Basic, Private Key (Vorschau) oder OAuth (Preview).
   • Fügen Sie den Benutzernamen hinzu.
   • Fügen Sie Anmeldeinformationen hinzu: Azure-Abonnement, Key Vault-Verbindung, Geheimnisname und Geheimnisversion.
   • Wählen Sie Verwaltetes VNet aktivieren aus, wenn Ihr Snowflake-instance auf Azure Virtual Network ausgeführt wird, und fügen Sie dann die Azure Region, Private Link Ressourcen-ID und den vollqualifizierten Domänennamen hinzu.

5. Testen Sie die Verbindung, um sicherzustellen, dass sie funktioniert. Wenn Sie Virtual Network verwenden, wird das Feature "Verbindung testen" nicht unterstützt.

   

   

Die Ressourcen-ID für den privaten Snowflake-Ziellink hat das folgende Format: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

• Um die Regions-ID und den vollqualifizierten Namen zu erhalten, führen Sie SYSTEM_WHITE_LISTSYSTEM_WHITE_LIST_PRIVATELINK and aus, um die Werte ", SNOWFLAKE_DEPLOYMENT_REGIONLESS" und OCSP_CACHE für öffentliche SNOWFLAKE_DEPLOYMENTHosts und Hosts mit Zulassungsliste abzurufen.
• Um die Abonnement-ID zu erhalten, führen Sie als ACCOUNTADMIN ausSYSTEM$GET_SNOWFLAKE_PLATFORM_INFO(), um die snowflake-vnet-subnet-ids-Werte abzurufen. Die Abonnement-ID für den Private Link des Snowflake-Azure-Mandanten wird aus der Ausgabe snowflake-vnet-subnet-ids abgerufen.

Authentifizierung mit privatem Schlüssel (Vorschau)

Sie können private Schlüssel mit oder ohne Passphrase erstellen, indem Sie OpenSSL verwenden, ein Befehlszeilentool zum Generieren kryptografischer Schlüssel. Wenn Sie einen privaten Schlüssel mit einer Passphrase generieren, konfigurieren Sie sowohl den Schlüssel als auch die Passphrase mit der Verbindung, wie im folgenden Screenshot gezeigt. Wenn Sie während der Schlüsselgenerierung keine Passphrase angeben, lassen Sie diese in der Verbindung weg.

Der private Schlüssel, der durch den Befehl openssl generiert wird, enthält headers/footers die Angaben für Anfang und Ende des key/encrypted Schlüssels. Speichern Sie den gesamten Inhalt der Datei, einschließlich Kopfzeilen und neuen Zeilen, unverändert im Key Vault als Geheimniswert. Dazu können Sie ein Befehlszeilentool wie Azure CLI verwenden. Ohne die Kopfzeilen, Fußzeilen und die ursprüngliche Formatierung der Schlüsseldatei schlägt die Authentifizierung mit Snowflake fehl.

Aus Sicherheitsgründen sollten Sie Ihre Schlüssel regelmäßig rotieren. Wenn Sie einen Schlüssel rotieren, aktualisieren Sie ihn in Key Vault und in der Microsoft Purview-Verbindung. Neue Aufträge verwenden den aktualisierten Schlüssel. Lassen Sie den älteren Schlüssel aktiv, bis alle laufenden Aufträge abgeschlossen sind.

OAuth-Authentifizierung (Vorschau)

Sie können eine OAuth-basierte Verbindung konfigurieren, indem Sie Microsoft Entra ID als OAuth-Anbieter verwenden. OAuth-Zugriffstoken sind in der Regel kurzlebig. Die Aufträge zur Bewertung der Datenqualität können jedoch je nach Datenvolumen lange laufen. Legen Sie die Lebensdauer des OAuth-Zugriffstokens auf mindestens sechs Stunden fest, was der durchschnittlichen maximalen Auftragsdauer entspricht. Aufträge schlagen fehl, wenn das Zugriffstoken abläuft, bevor der Auftrag abgeschlossen ist.

Wenn Sie die Lebensdauer des Zugriffstokens nicht verlängern können oder wenn Ihre Richtlinie dies nicht zulässt, verwenden Sie die schlüsselpaarbasierte Authentifizierung, da die Schlüsselpaarauthentifizierung keine Einschränkungen für die Tokenlebensdauer aufweist.

Beispielwerte für die OAuth-Verbindungsparameter:

• Benutzername: DB41C9CD-96E7-47B0-ADB6-0A4D080229A0 (Wert der login_name Eigenschaft von Snowflake)
• Client-ID: 00001111-aaaa-2222-bbbb-3333cc4444 (Client-ID vom Azure-Portal)
• Token-URL: https://login.microsoftonline.com/ddfd8861-7cbd-43df-ad13-4f9e958cf53b/oauth2/v2.0/token (Token URL from Azure app)
• Bereich: api://aaaabbbb-0000-cccc-1111-dddd2222eeee/.default (Scope as registered with the Azure app)

Grundlegendes zur Verbindungsauswahl

Sie wählen Verbindungen nicht explizit aus, wenn Sie Bewertungen starten oder Zeitpläne konfigurieren. Das System wählt eine Verbindung automatisch nach folgenden Regeln aus:

• Wenn nur Benutzerkennwortverbindungen vorhanden sind, wählt das System die erste erstellte Verbindung aus.
• Wenn Schlüsselpaar- oder OAuth-Verbindungen vorhanden sind, ignoriert das System alle Benutzerkennwortverbindungen und wählt die erste erzeugte Schlüsselpaar- oder OAuth-Verbindung aus.

Die folgende Abbildung zeigt, wie das System eine Verbindung basierend auf Typ und Erstellungsreihenfolge auswählt.

Angenommen, es gibt nur kennwortbasierte Verbindungen:

• SnowflakeConnectionBob (Benutzerkennwort)
• SnowflakeConnectionAlice (Benutzerkennwort)
• SnowflakeConnectionEve (Benutzerkennwort)

Das System wählt die Verbindung SnowflakeConnectionBob aus.

Angenommen, alle Arten von Verbindungen sind vorhanden, und Sie haben sie in der folgenden Reihenfolge erstellt:

• SnowflakeConnectionBob (Benutzerkennwort)
• SnowflakeConnectionAlice (Schlüsselpaar)
• SnowflakeConnectionCharlie (OAuth)
• SnowflakeConnectionEve (Benutzerkennwort)

In diesem Fall ignoriert das System SnowflakeConnectionBob und SnowflakeConnectionEve. Das System berücksichtigt nur die folgenden Verbindungen bei der Auswahl:

• SnowflakeConnectionAlice (Schlüsselpaar)
• SnowflakeConnectionCharlie (OAuth)

In der Regel wählt das System SnowflakeConnectionAlice für die Bewertung und geplante Ausführungen aus.

Nächste Schritte

Nach dem Einrichten der Verbindung können Sie ein Profil Ihrer Daten erstellen, Regeln erstellen und anwenden sowie einen Datenqualitätsscan ausführen. Eine schrittweise Anleitung finden Sie in den Artikeln zur Datenprofilerstellung und Datenqualitätsüberprüfung:

• Konfigurieren und Ausführen der Datenprofilerstellung
• Konfigurieren und Ausführen eines Datenqualitätsscans

Verwandte Inhalte

• Verbinden mit und Verwalten von Snowflake in Microsoft Purview
• Datenquellenverbindungen für Datenqualität einrichten
• Konfigurieren Azure Virtual Network
• Konfigurieren eines privaten Endpunkts für Snowflake Private Link
• Problembehandlung bei der Datenqualität