Einrichten der Datenqualität für Google BigQuery (Vorschau)

Dieser Artikel enthält schrittweise Anleitungen zum Registrieren, Überprüfen und Konfigurieren der Datenqualität für Google BigQuery-Quellen in Microsoft Purview Unified Catalog.

Unterstützte Funktionen

Beim Scannen einer Google BigQuery-Quelle unterstützt Microsoft Purview Folgendes:

• Extrahieren von technischen Metadaten, einschließlich:
  • Projekte und Datasets.
  • Tabellen einschließlich der Spalten.
  • Ansichten einschließlich der Spalten.
• Abrufen der statischen Herkunft für Ressourcenbeziehungen zwischen Tabellen und Sichten.

Beim Einrichten einer Überprüfung können Sie ein gesamtes Google BigQuery-Projekt überprüfen. Sie können die Überprüfung auch auf eine Teilmenge von Datasets festlegen, die den angegebenen Namen oder Namensmustern entsprechen.

Bekannte Einschränkungen

Beachten Sie die folgenden Einschränkungen beim Scannen von Google BigQuery-Quellen:

• Microsoft Purview unterstützt nur das Scannen von Google BigQuery-Datasets an einem multiregionalen Standort in den USA. Wenn sich ein Dataset an einem anderen Speicherort befindet (z. B. "us-east1" oder "EU"), wird die Überprüfung abgeschlossen, aber in Microsoft Purview werden keine Ressourcen angezeigt.

• Wenn Sie ein Objekt aus der Datenquelle löschen, wird bei der nachfolgenden Überprüfung nicht automatisch das entsprechende Objekt in Microsoft Purview entfernt.

Konfigurieren der Data Map-Überprüfung zum Katalogisieren von Google BigQuery-Daten in Microsoft Purview

Registrieren eines Google BigQuery-Projekts

Führen Sie die folgenden Schritte aus, um ein Google BigQuery-Projekt in Microsoft Purview zu registrieren:

1. Wählen Sie im Microsoft Purview-Portal die Option Data Map und dann Registrieren aus.
2. Wählen Sie unter Quellen registrierendie Option Google BigQuery und dann Weiter aus.
3. Geben Sie einen Namen für die Datenquelle ein, die im Katalog angezeigt wird.
4. Geben Sie die ProjectID ein. Die ProjectID sollte eine vollqualifizierte Projekt-ID sein. Beispiel: mydomain.com: myProject.
5. Wählen Sie eine Sammlung aus der Liste aus.
6. Wählen Sie Registrieren aus.

Einrichten einer Data Map-Überprüfung für das Google BigQuery-Projekt

Führen Sie die folgenden Schritte aus, um eine Data Map-Überprüfung für das registrierte Google BigQuery-Projekt zu konfigurieren:

1. Stellen Sie sicher, dass eine selbstgehostete Integration Runtime eingerichtet ist. Wenn die Runtime nicht eingerichtet ist, führen Sie die Schritte unter Voraussetzungen für die Google BigQuery-Verbindung aus.

2. Navigieren Sie zu Quellen.

3. Wählen Sie das registrierte BigQuery-Projekt aus.

4. Wählen Sie Neue Überprüfung aus.

5. Geben Sie diese Details ein:

   • Name: Der Name der Überprüfung.
   • Herstellen einer Verbindung über Integration Runtime: Wählen Sie die konfigurierte selbstgehostete Integration Runtime aus.
   • Anmeldeinformationen: Stellen Sie beim Konfigurieren von BigQuery-Anmeldeinformationen folgendes sicher:
     • Wählen Sie Standardauthentifizierung als Authentifizierungsmethode aus.
     • Geben Sie die E-Mail-ID des Dienstkontos im Feld Benutzername an. Beispiel: xyz\@developer.gserviceaccount.com.
     • Speichern Sie den privaten Schlüssel des Dienstkontos als Key Vault Geheimnis (siehe die folgenden Schritte).
   • JDBC-Treiberspeicherort: Geben Sie den Pfad zum JDBC-Treiber (Java Database Connectivity) auf dem Computer an, auf dem die selbstgehostete Integration Runtime ausgeführt wird. Beispiel: D:\Drivers\GoogleBigQuery.
   • Zu importierende Datasets: Geben Sie eine Liste der zu importierenden BigQuery-Datasets an. Beispiel: dataset1; dataset2. Wenn die Liste leer ist, werden alle verfügbaren Datasets importiert.
   • Maximaler Arbeitsspeicher (in GB): Der erforderliche Arbeitsspeicherwert hängt von der Größe des zu scannenden Google BigQuery-Projekts ab.

   Erstellen Sie einen privaten Schlüssel für ein Dienstkonto:

   1. Wählen Sie im Navigationsmenü der Google Cloud-Konsole IAM & Admin>Dienstkonten aus, und wählen Sie dann ein Projekt aus.
   2. Wählen Sie die E-Mail-Adresse des Dienstkontos aus, für das Sie einen Schlüssel erstellen möchten.
   3. Wählen Sie die Registerkarte Schlüssel aus.
   4. Wählen Sie Schlüssel> hinzufügenNeuen Schlüssel erstellen aus.
   5. Wählen Sie JSON-Format aus.
   6. Kopieren Sie die gesamte JSON-Schlüsseldatei, und speichern Sie sie als Wert eines Key Vault Geheimnisses.

6. Wählen Sie Verbindung testen aus.

7. Wählen Sie Weiter.

8. Wählen Sie Ihren Scantrigger aus. Sie können einen Zeitplan einrichten oder die Überprüfung einmal ausführen.

9. Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.

Nach der Überprüfung sind die Datenressourcen im Google BigQuery-Projekt in der Unified Catalog Suche verfügbar. Weitere Informationen finden Sie unter Verbinden und Verwalten von Google BigQuery in Microsoft Purview.

Einrichten einer Verbindung mit dem Google BigQuery-Projekt für die Datenqualitätsüberprüfung

Die gescannten Ressourcen sind jetzt für die Katalogisierung und Governance bereit. Ordnen Sie die gescannten Ressourcen den Datenprodukten in einer Governancedomäne zu, um eine Datenqualitätsüberprüfung einzurichten.

1. Wechseln Sie Unified Catalog zu Integritätsverwaltung>Datenqualität. Wählen Sie eine Governancedomäne aus, um die zugehörige Detailseite zu öffnen, und wählen Sie dann Verwalten aus, um eine Verbindung zu erstellen.

2. Richten Sie die Verbindung ein:

   • Fügen Sie den Verbindungsnamen und die Beschreibung hinzu.
   • Wählen Sie Den Quelltyp Google BigQuery aus.
   • Fügen Sie die Projekt-ID, den Datasetnamen und den Tabellennamen hinzu.
   • Geben Sie details unter Private key des Dienstkontos ein:
     • Fügen Sie das Microsoft Azure-Abonnement hinzu.
     • Fügen Sie die Microsoft Azure Key Vault-Verbindung hinzu.
     • Geben Sie den Namen des Geheimnisses ein.
     • Geben Sie die Geheimnisversion ein.

3. Testen Sie die Verbindung, um sicherzustellen, dass die Datenquellenverbindung erfolgreich konfiguriert wurde.

   

   

Profilerstellung und Datenqualitätsüberprüfung für Daten in Google BigQuery

Nachdem Sie die Verbindung eingerichtet haben, können Sie ein Profil für Ihre Daten erstellen, Regeln erstellen und anwenden und eine Datenqualitätsüberprüfung für Ihre Daten in Google BigQuery ausführen. Befolgen Sie die schrittweisen Richtlinien in den folgenden Artikeln:

• Konfigurieren und Ausführen der Datenprofilerstellung für Ihre Daten
• Konfigurieren und Ausführen der Datenqualitätsüberprüfung

Verwandte Inhalte

• Herstellen einer Verbindung mit und Verwalten von Google BigQuery-Projekten in Microsoft Purview
• Problembehandlung bei der Datenqualität
• Einrichten einer Datenquellenverbindung für die Datenqualität in Unified Catalog