Tutorial: Konfigurieren des gespiegelten Google Lakehouse Laufzeitkatalogs

Durch die Verwendung von Katalogspiegelung für den Google-Lakehouse-Runtimekatalog können Sie aus Microsoft-Fabric-Workloads heraus auf Apache-Iceberg-Daten zugreifen, die in Google Cloud Lakehouse verwaltet werden.

Prerequisites

• Ein Google-Cloud-Projekt mit aktivierter Abrechnung und aktivierter BigLake-API.
• Ein Google-Lakehouse-Runtime-Katalog, der die Apache Iceberg V2-Tabellen enthält, die Sie spiegeln möchten. Iceberg V1-Tabellen werden nicht unterstützt.
• Der Apache Iceberg REST-Katalog-Endpunkt und die Google Cloud Storage-Standorte, die die Iceberg-Daten speichern, sind über das öffentliche Internet erreichbar. Firewall-Regeln und andere Netzwerkbeschränkungen werden derzeit nicht unterstützt. Sehen Sie sich Einschränkungen und Überlegungen zu diesem Feature an.
• Erlaubnis, einen Google Cloud Workload Identity Pool und Anbieter zu erstellen und zu verwalten sowie Google Cloud IAM-Rollen zu gewähren.
• Ihre Microsoft Entra Mandanten-ID. Wenn du individuelle Identitätsbindungen verwendest, erhalte auch die Objekt-ID jeder Microsoft Entra-Identität, die du autorisieren möchtest.
• Ein Fabric-Arbeitsbereich, der einer Fabric-Kapazität (F-SKU oder Testversion) zugeordnet ist.
• Ihr Fabric-Mandantenadministrator muss die Mandantenadministrator-Einstellung aktivieren mit dem Titel Neue gespiegelte Katalogelemente aktivieren (Vorschau).

Google Cloud Workload Identity Federation konfigurieren

Google Lakehouse Runtime Catalog Mirroring verwendet die Google Cloud Workload Identity Federation, um Microsoft Entra-Token zu vertrauen. Führen Sie die folgende Google-Cloud-Konfiguration aus, bevor Sie die Fabric-Verbindung herstellen.

Wählen Sie das Google-Cloud-Projekt aus

1. In der Google Cloud Console wählen Sie das Projekt aus, das den Workload Identity Pool besitzt.
2. Notieren Sie sowohl die Projekt-ID als auch die numerische Projektnummer. Du kannst die Projekt-ID und die Projektnummer nicht austauschbar verwenden.
3. Aktivieren Sie die BigLake-API für das Projekt.

Erstellen Sie einen Workload-Identitätspool

1. In der Google Cloud Console gehen Sie zu IAM & Admin>Workload Identity Federation.
2. Wählen Sie Pool erstellen aus.
3. Geben Sie einen Poolnamen und eine Pool-ID ein.
4. Stelle sicher, dass der Pool aktiviert ist. Der Poolstandort ist global.
5. Trage die Pool-ID auf.

Fügen Sie einen OIDC-Anbieter hinzu

1. Öffnen Sie den Workload Identity Pool und wählen Sie dann Anbieter hinzufügen. Du kannst auch den Anbieter beim Erstellen des Pools hinzufügen.

2. Für den Anbietertyp wählen Sie OpenID Connect (OIDC).

3. Konfigurieren Sie den Anbieter mit den folgenden Werten. Ersetzen Sie {TENANT_ID} durch Ihre Microsoft Entra-Mandanten-ID.

   Anbietereinstellung	Einzugebender Wert	Hinweise
   Anbieter-ID	Eine von Ihnen gewählte Provider-ID	Notieren Sie diesen Wert für die Fabric-Verbindung.
   Aussteller-URL	https://sts.windows.net/{TENANT_ID}/	Der Wert, einschließlich des nachlaufenden Schrägstrichs, muss exakt mit dem Token-Anspruch iss übereinstimmen.
   Erlaubtes Publikum	https://analysis.windows.net/powerbi/connector/MirroredGoogleLakehouseRuntimeCatalog	Der Wert muss exakt mit dem Token-Anspruch aud übereinstimmen.
   Attributzuordnung	google.subject = assertion.oid	Die Microsoft Entra-Objekt-ID wird zum Google-föderierten Subjekt.

4. Speichern und aktivieren Sie den Anbieter.

5. Bestätigen Sie, dass Sie die numerische Projektnummer, die Pool-ID und die Provider-ID eingetragen haben. Du brauchst alle drei Werte für die Fabric-Verbindung.

Fügen Sie Microsoft Entra-Identitäten als IAM-Prinzipien hinzu

Binden Sie die Google-Cloud-Rollen an die Microsoft Entra-Identität oder -Identitäten, die Fabric verwendet. Für den Zugriff nach dem Least-Privilege-Prinzip fügen Sie jede Identität jeweils separat mit diesem Prinzipalbezeichner hinzu:

principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/subject/ENTRA_OID

Ersetzen Sie PROJECT_NUMBER, POOL_ID und ENTRA_OID durch Ihre numerische Google-Cloud-Projektnummer, Workload-Identity-Pool-ID und Microsoft-Entra-Objekt-ID.

Um Zugriff auf jede vom Workload Identity Pool akzeptierte Identität zu gewähren, können Sie stattdessen diese Hauptmenge verwenden:

principalSet://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/*

Gewähren Sie dem ausgewählten Principal oder der ausgewählten Principal-Gruppe diese Rollen auf der engstmöglichen geeigneten Ressourcenebene:

Zugriff auf die Tabellendaten konfigurieren

Der Google Lakehouse-Runtime-Katalog muss in der Lage sein, Zugriff auf die Cloud-Speicher-Buckets zu autorisieren, die die Tabellendaten enthalten:

• Wenn der Katalog die Anmeldeinformationsbereitstellung verwendet, gewähren Sie dem automatisch bereitgestellten Dienstkonto des Katalogs die Rolle Storage Object User (roles/storage.objectUser) für jeden zugeordneten Bucket. Die föderierte Microsoft Entra-Identität benötigt keinen direkten Zugriff auf diese Buckets.
• Wenn der Katalog Endbenutzerzugangsdaten verwendet, gewährt dem föderierten Hauptverantwortlichen den erforderlichen Lesezugriff auf jeden zugehörigen Bucket.

Für weitere Informationen zu Katalogzugangsarten und erforderlichen Rollen siehe Einrichten des Apache Iceberg REST-Katalog-Endpunkts.

Sammeln Sie die Katalogverbindungswerte

Bevor Sie die Fabric-Verbindung herstellen, sammeln Sie diese Werte aus Google Cloud:

• URL – Verwenden Sie den stabilen Google Lakehouse Apache Iceberg REST-Katalog-Endpunkt: https://biglake.googleapis.com/iceberg/v1/restcatalog.
• Lager – Für einen Katalog mit mehreren Buckets verwenden Sie bl://projects/PROJECT_ID/catalogs/CATALOG_ID. Verwenden Sie für einen Katalog mit einem Bucket gs://CLOUD_STORAGE_BUCKET_NAME.
• Project ID – Verwenden Sie das Google Cloud-Projekt, das für Anfragen an den Apache Iceberg REST-Katalog-Endpunkt abgerechnet wird.
• Project-Nummer – Verwenden Sie die numerische Project-Nummer für das Projekt, das den Workload Identity Pool besitzt.
• Pool-ID – Verwenden Sie die ID des Workload Identity Pool, der Microsoft Entra-Token vertraut.
• Provider ID – Verwenden Sie die ID des OIDC-Anbieters, den Sie im Pool konfiguriert haben.

Weitere Informationen zu Lagerpfaden und Katalogtypen finden Sie unter Über den Apache Iceberg REST-Katalog-Endpunkt.

Erstellen Sie einen gespiegelten Google Lakehouse Laufzeitkatalog

Befolgen Sie diese Schritte, um einen gespiegelten Google Lakehouse Runtime-Katalog in Fabric zu erstellen.

1. Gehe zu https://powerbi.com.

2. Wählen Sie + Neu und wählen Sie dann Mirrored Google Lakehouse Runtime Catalog (Vorschau) aus.

3. Wählen Sie eine vorhandene Verbindung aus, wenn Sie eine konfiguriert haben.

   Wenn Sie keine bestehende Verbindung haben, erstellen Sie eine Verbindung und geben Sie die erforderlichen Angaben ein:

   • Für URL geben Sie https://biglake.googleapis.com/iceberg/v1/restcatalog ein.
   • Für gs:// geben Sie den bl://- oder -Warehouse-Pfad für Ihren Katalog ein.
   • Für Project ID geben Sie das Google-Cloud-Projekt ein, das für Kataloganfragen abgerechnet wird.
   • Für die Einstellungen der Workload Identity Federation geben Sie die numerische Project-Nummer, Pool-ID und Provider-ID ein, die Sie in "Configure Google Cloud Workload Identity Federation" eingetragen haben.
   • Authentifiziere dich mit einer Microsoft Entra-Identität, die du als IAM-Principal hinzugefügt hast.

4. Nachdem Sie sich mit dem Google Lakehouse-Runtime-Katalog verbunden haben, wählen Sie auf der Seite Daten auswählen den Katalogumfang , den Sie spiegeln möchten. Wählen Sie dann durch die Inklusions- und Ausschlusslisten die Namensräume und Tabellen aus, die Sie zu Fabric hinzufügen möchten.

   • Sie können nur die Namensräume und Tabellen sehen, auf die die föderierte Microsoft Entra-Identität Zugriff hat.
   • Standardmäßig ist die Option " Zukünftige Tabellen automatisch synchronisieren " aktiviert. Weitere Informationen finden Sie unter Google Lakehouse Runtime Catalog Mirroring.

   Wenn du mit der Auswahl fertig bist, wähle Nächstes aus.

5. Auf der Seite „Überprüfen und erstellen“ überprüfen Sie die Details und legen den Namen des gespiegelten Katalogelements fest. Der Name muss in Ihrem Arbeitsbereich einzigartig sein. Wählen Sie "Erstellen" aus.

6. Ein gespiegeltes Google Lakehouse Runtime-Katalogelement wird erstellt. Für jede Tabelle wird auch automatisch eine entsprechende Verknüpfung erstellt.

   • Namensräume, die keine Tabellen enthalten, werden nicht angezeigt.

7. Überprüfen Sie die Daten, indem Sie eine Tabelle auswählen oder den SQL-Analyse-Endpunkt öffnen. Öffnen Sie das SQL Analytics-Endpunktelement, um die Seite "Explorer" und den Abfrage-Editor zu starten. Du kannst deine gespiegelten Tabellen mit T-SQL im SQL Editor abfragen.

Erstellen Sie Lakehouse-Abkürzungen zum gespiegelten Katalogobjekt

Du kannst auch Verknüpfungen von einem Lakehouse zu deinem gespiegelten Google-Lakehouse-Runtime-Katalogelement erstellen, sodass du die Katalogdaten zusammen mit Lakehouse-Daten und Spark-Notebooks verwenden kannst.

1. Erstellen Sie ein Lakehouse. Wenn Sie bereits ein Seehaus in diesem Arbeitsbereich haben, können Sie das bestehende nutzen.
   1. Wählen Sie im Navigationsmenü Ihren Arbeitsbereich aus.
   2. Wählen Sie + Neu>Lakehouse.
   3. Geben Sie einen Namen für Ihr Seehaus ein, und wählen Sie dann "Erstellen" aus.
2. Wählen Sie in der Explorer-Ansicht Ihres Lakehouse im Menü Daten in Ihrem Lakehouse abrufen unter Daten in Ihrem Lakehouse laden die Option Neue Verknüpfung aus.
3. Wählen Sie Microsoft OneLake aus. Wählen Sie das gespiegelte Google Lakehouse Runtime-Katalogelement aus, das Sie in den vorherigen Schritten erstellt haben, und wählen Sie dann Nächstes aus.
4. Wählen Sie Tabellen im Namensraum aus und wählen Sie dann Nächst aus.
5. Wählen Sie "Erstellen" aus.
6. Die Abkürzungen sind jetzt in Ihrem Seehaus verfügbar. Sie können Notizbücher und Spark verwenden, um die Google Lakehouse-Laufzeitkatalogdaten zusammen mit Ihren anderen Lakehouse-Daten zu verarbeiten.

Verwandte Inhalte

• Google Lakehouse Laufzeit-Katalogspiegelung
• Einschränkungen bei der Microsoft Fabric-Katalogspiegelung für den Google Lakehouse-Laufzeitkatalog