Catalogo di runtime di Google Lakehouse in specchio

Un catalogo di runtime di Google Lakehouse replicato in Fabric integra le tabelle Apache Iceberg gestite nel tuo Google Cloud Lakehouse con gli altri dati presenti in Fabric. Puoi replicare continuamente la struttura del catalogo runtime di Google Lakehouse direttamente nel OneLake di Fabric.

Per un tutorial sulla configurazione dell'ambiente Google Cloud per eseguire il mirroring del catalogo in Fabric, vedere Tutorial: Configurare il catalogo di runtime di Google Lakehouse con mirroring.

Quando si riproduce un catalogo runtime di Google Lakehouse, non c'è movimento o duplicazione dei dati. Solo la struttura del catalogo è riflessa su Fabric. I dati sottostanti della tabella Iceberg rimangono in Google Cloud Storage e sono accessibili tramite scorciatoie. I cambiamenti ai dati sottostanti potrebbero non apparire immediatamente in Fabric. La propagazione può richiedere da pochi secondi a diversi minuti, come descritto nella documentazione sulle prestazioni degli endpoint di analisi SQL.

Quali esperienze di analisi sono integrate

I cataloghi con mirroring sono elementi di Fabric diversi da altri elementi, come i lakehouse e gli endpoint di analisi SQL.

Quando si esegue il mirroring di un catalogo di runtime di Google Lakehouse, Fabric crea questi elementi:

• Un elemento specchiato del catalogo runtime di Google Lakehouse
• Endpoint di analisi SQL per questo elemento

Puoi accedere in diversi modi ai dati in mirroring del catalogo runtime di Google Lakehouse:

• Usare i comandi T-SQL per definire ed eseguire query sugli oggetti dati dall'endpoint di analisi SQL di sola lettura. Ogni elemento del catalogo runtime di Google Lakehouse specchiato ha un endpoint SQL analytics autogenerato che offre un'esperienza analitica ricca creata dal processo di mirroring.
• Usa Power BI con modalità Direct Lake per creare report sull'elemento del catalogo specchiato.
• Usa altri carichi di lavoro Fabric per interrogare le tabelle nell'articolo del catalogo specchiato.

Le tabelle replicate sono interrogabili nel giro di pochi secondi dopo essere state selezionate, con la propagazione end-to-end dei metadati che si completa in genere in un intervallo che va da pochi secondi a pochi minuti.

Connettersi ed eseguire l'autenticazione

Il mirroring si collega all'endpoint del catalogo REST di Apache Iceberg nel catalogo runtime di Google Lakehouse. I dati delle tabelle sottostanti rimangono in Google Cloud Storage e vengono letti tramite scorciatoie, quindi la connessione richiede il permesso per leggere sia i metadati del catalogo che quelli delle tabelle.

Il mirroring del catalogo runtime di Google Lakehouse utilizza la Google Cloud Workload Identity Federation per autenticare le identità Microsoft Entra. Fabric presenta un token Microsoft Entra OpenID Connect (OIDC) a Google Cloud invece di memorizzare una chiave di account del servizio Google Cloud.

Prima di creare la connessione Fabric, configura un pool di identità di carico di lavoro Google Cloud con un provider OIDC che si fida dei token Microsoft Entra. Usa questi esatti valori del fornitore:

Aggiungi ogni identità Microsoft Entra a cui deve essere concesso l'accesso come entità IAM federata, oppure autorizza un insieme di entità per il pool. Si consiglia di associare le identità individuali per l'accesso con privilegi minimi. Concedere al principale il ruolo di BigLake Viewer (roles/biglake.viewer) e il ruolo di Consumatore di Utilizzo del Servizio (roles/serviceusage.serviceUsageConsumer) nel campo di risorsa più ristretto e appropriato.

Annota il numero numerico del progetto Google Cloud, l'ID del Pool di Identità del Carico di Lavoro e l'ID del provider OIDC. Ti servono questi valori per creare la connessione Fabric.

Il catalogo sorgente deve anche essere in grado di autorizzare l'accesso ai suoi dati di Cloud Storage. Per un catalogo che utilizza la distribuzione delle credenziali, assegna all'account di servizio del catalogo creato automaticamente il ruolo Storage Object User (roles/storage.objectUser) su tutti i bucket Cloud Storage associati. Per un catalogo che utilizza le credenziali dell'utente finale, concedere al principale federato l'accesso di lettura richiesto ai bucket associati.

Per istruzioni dettagliate su come configurare Workload Identity Federation e la connessione, consulta Tutorial: Configurare il catalogo di runtime con mirroring di Google Lakehouse.

Sincronizzazione dei metadati

Quando crei un catalogo runtime di Google Lakehouse in Fabric in specchio, l'opzione Sincronizzare automaticamente le tabelle future è abilitata di default. Se abiliti la sincronizzazione automatica, il tuo catalogo di runtime Google Lakehouse riflette automaticamente i seguenti cambiamenti di metadati in Fabric:

• Aggiunta di namespace al catalogo
• Eliminazione di namespace dal catalogo
• Aggiunta di tabelle a uno spazio dei nomi
• Eliminazione di tabelle da namespace
• Quando La sincronizzazione automatica delle tabelle future è abilitata, le tabelle Iceberg appena create negli spazi dei nomi selezionati vengono automaticamente incluse in Fabric senza richiedere un aggiornamento manuale.
• Le modifiche dello schema e dei dati alle tabelle esistenti seguono gli intervalli di propagazione normali.

La selezione del namespace e della tabella funziona come segue:

• Puoi selezionare quali namespace includere come schemi e puoi escludere tabelle specifiche.
• Se si deseleziona uno spazio dei nomi, tutte le tabelle all'interno dello spazio dei nomi vengono deselezionate.
• Se selezioni di nuovo il namespace, tutte le tabelle all'interno dello spazio vengono selezionate di nuovo.

Contenuti correlati

• Tutorial: Configura il catalogo runtime speculare di Google Lakehouse
• Limitazioni del mirroring del catalogo di Microsoft Fabric per il catalogo di runtime di Google Lakehouse