Feed di dati delle modifiche differenziali nel mirroring per Fabric

Delta Change Data Feed (CDF) acquisisce inserimenti, aggiornamenti ed eliminazioni, quindi li applica alle tabelle Delta Lake in OneLake. Questo flusso supporta l'analisi quasi in tempo reale senza ricarichi completi o processi ETL pesanti.

• Elabora continuamente le modifiche incrementali (basate su delta).
• Utilizza l'elaborazione solo delle modifiche.
• Supporta l'elaborazione incrementale downstream.
• È disponibile per tutte le fonti di mirroring, inclusi i partner di mirroring pubblico.

Prerequisites

• Una capacità di Microsoft Fabric (F2 o superiore) o una versione di valutazione di Fabric.
• Un database con mirroring in un'area di lavoro Fabric.
• Esiste una Fabric Lakehouse nella stessa o in un'altra area di lavoro (per l'esecuzione di query sui dati CDF)

Attivare il feed dei dati delle modifiche delta nel portale di Fabric

Abilita il feed dei dati delle modifiche delta per ogni database sottoposto a mirroring.

1. Per qualsiasi origine con mirroring, selezionare l'icona a forma di ingranaggio per aprire il pannello di configurazione.
2. In Gestione tabelle Delta selezionare la casella di controllo Abilita feed di dati delle modifiche differenziali.

Abilitare il feed delta dei dati di modifica tramite API

Per abilitare il feed di dati delle modifiche differenziali usando le API, vedere Abilitare il feed di dati delle modifiche differenziali per un database con mirroring.

Abilita il feed dei dati di modifica delta per le tabelle esistenti

Se è stato creato il database con mirroring prima che CDF sia diventato disponibile, è possibile abilitare CDF usando l'API REST Fabric. Il processo recupera la definizione corrente, aggiunge la proprietà CDF e aggiorna la definizione.

1. Recupera la definizione del database mirror:

   POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/getDefinition
   

2. Decodificare il mirroring.json payload dalla risposta. Il payload è con codifica Base64.

3. Aggiungere "enableDeltaChangeDataFeed": true alla target.typeProperties sezione:

   {
     "properties": {
       "source": { ... },
       "target": {
         "type": "MountedRelationalDatabase",
         "typeProperties": {
           "defaultSchema": "dbo",
           "format": "Delta",
           "enableDeltaChangeDataFeed": true,
           "retentionInDays": 1
         }
       }
     }
   }
   

4. Codificare nuovamente il codice JSON aggiornato in Base64, quindi aggiornare la definizione:

   POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/updateDefinition
   

Dopo aver aggiornato la definizione, recuperarla di nuovo e confermare che enableDeltaChangeDataFeed è true.

Eseguire query sui dati delle modifiche

1. Crea una shortcut di Lakehouse:

   1. Nell'area di lavoro di Fabric, apri o crea un Lakehouse.
   2. In Lakehouse Explorer selezionare Nuovo collegamento.
   3. Selezionare Microsoft OneLake come origine.
   4. Vai al database mirror e seleziona la tabella che vuoi interrogare.
   5. Selezionare Crea per completare la creazione del collegamento.

2. Apri un notebook di Fabric collegato al tuo Lakehouse e usa una delle opzioni seguenti per interrogare i dati delle modifiche:

   • Opzione A: Leggere le modifiche a partire da una versione specifica
   • Opzione B: Leggere le modifiche all'interno di un intervallo di timestamp
   • Opzione C: Usare la sintassi SQL

Opzione A: Leggere le modifiche a partire da una versione specifica

Usare l'opzione readChangeFeed con startingVersion per leggere tutte le modifiche CDF da una versione specifica della tabella Delta in avanti. Sostituisci <lakehouse_name> e <table_name> con i nomi del tuo Lakehouse e della tua tabella.

df = spark.read.format("delta") \
    .option("readChangeFeed", "true") \
    .option("startingVersion", 0) \
    .table("<lakehouse_name>.<table_name>")

df.show()

Opzione B: Leggere le modifiche all'interno di un intervallo di timestamp

Usare l'opzione readChangeFeed con startingTimestamp e endingTimestamp per leggere le modifiche CDF in un intervallo di tempo specifico.

df = spark.read.format("delta") \
    .option("readChangeFeed", "true") \
    .option("startingTimestamp", "2025-01-01T00:00:00Z") \
    .option("endingTimestamp", "2025-01-02T00:00:00Z") \
    .table("<lakehouse_name>.<table_name>")

df.show()

Opzione C: Usare la sintassi SQL

Usare la table_changes() funzione SQL per eseguire query sui dati CDF. Questo approccio funziona in qualsiasi contesto SPARK SQL.

df = spark.sql("""
    SELECT * FROM table_changes('<lakehouse_name>.<table_name>', 0)
""")

df.show()

Opzioni di consumo downstream

Il feed di dati delle modifiche delta supporta diversi percorsi di consumo downstream:

Tariffazione

Chiarimenti chiave sui prezzi:

• La fatturazione è basata sull'utilizzo. Ti vengono addebitate solo le risorse di calcolo incrementali utilizzate quando CDF elabora modifiche effettive. Non sono previsti addebiti per le esecuzioni inattive o vuote (periodi in cui non si verificano modifiche ai dati di origine).
• La duplicazione dello schermo di base rimane gratuita. L'abilitazione di CDF non modifica il prezzo del mirroring del core. La replica continua, la conversione Delta Lake, l'integrazione di OneLake e gli endpoint di analisi SQL rimangono liberi.
• L'archiviazione per il mirroring è gratuita. L'archiviazione dei dati mirrorati in OneLake non viene fatturata separatamente. Tuttavia, l'abilitazione di CDF aumenta il consumo di archiviazione a causa di file aggiuntivi _change_data .
• CDF è un componente aggiuntivo, non una sostituzione. La fatturazione CDF è solo per il calcolo delle funzionalità estese. Non addebita retroattivamente l'attività di mirroring core.
• È possibile controllare i costi abilitando in modo selettivo CDF. CDF è abilitato a livello di database mirrorato. Abilita CDF solo sui database mirrorati che richiedono l'elaborazione incrementale e lascia gli altri nel mirroring di base.

Per il modello di prezzi completo, i dettagli di misurazione e l'ambito di fatturazione, vedere Fatturazione per le funzionalità estese nel mirroring.

Contenuti correlati

• Funzionalità estese del mirroring per Fabric
• Visualizzazioni di mirroring in Fabric
• Fatturazione per le funzionalità estese nel mirroring
• API REST pubblica per il mirroring di Microsoft Fabric