Gestire la lineage delle viste materializzate del data lake Fabric

Le viste materializzate del lake aiutano a gestire ed eseguire query su set di dati di grandi dimensioni precomputando e archiviando i risultati delle query. In Fabric, la derivazione consente di comprendere le dipendenze e il flusso di aggiornamento, in modo da poter utilizzare MLV in modo più affidabile.

Questo articolo illustra come visualizzare la derivazione, comprendere l'interfaccia di derivazione e usare la derivazione estesa per tracciare le dipendenze tra le case del lago.

Visualizzare la parentela

Una derivazione delle viste lake materializzate mostra l'ordine di dipendenza per le operazioni di aggiornamento. Per mlv, la derivazione rappresenta la sequenza di visualizzazioni che devono essere eseguite quando sono disponibili nuovi dati.

Dopo aver creato l'MLV in Fabric, seleziona la scheda Viste del lake materializzate sulla barra multifunzione, quindi seleziona Gestisci per passare alla derivazione dell'MLV.

Derivazione delle viste del lago materializzate

Il codice del notebook definisce la genealogia (flusso MLV), e Fabric la crea quando si realizza il flusso MLV completo.

Per eseguire il lineage, pianificalo in base ai requisiti di aggiornamento. Dopo aver pianificato il processo, passare all'esecuzione corrente per visualizzare l'esecuzione della derivazione.

Comprendere la visualizzazione della derivazione

Nella vista della linea di derivazione delle viste materializzate del lago, il sistema elabora i dati in ordine di dipendenza. Ogni vista lake materializzata rappresenta un'operazione, ad esempio la lettura da una tabella di origine o l'esecuzione di una trasformazione. Le frecce mostrano la natura di ogni relazione di dipendenza e ordine di esecuzione.

Selezionare una vista lake materializzata per controllare le relazioni upstream e downstream.

La pagina di derivazione include queste azioni:

• Aggiornamento: rinfresca la visualizzazione della derivazione per riflettere le modifiche recenti dello stato.

  Annotazioni

  Questa azione aggiorna solo la visualizzazione del lineage. Non aggiorna i dati. La visualizzazione di derivazione viene aggiornata automaticamente ogni 2 minuti quando è in corso un'esecuzione e la scheda del browser è attiva.

  

• Cerca nel lineage: cerca una vista materializzata del lake o una tabella specifica per nome all'interno del grafico del lineage.

• Nuova vista del lago materializzata: apre un notebook in cui è possibile creare o modificare MLV.

  Annotazioni

  Questi notebook non sono collegati direttamente alla visualizzazione di derivazione.

  

• Gestisci i programmi: Apre il pannello Gestisci i programmi per creare o gestire i programmi di aggiornamento.

  

• Reimposta lineaggio: Reimposta il layout del lineaggio per le dimensioni correnti dello schermo.

  

Visualizzare la derivazione estesa

La derivazione standard mostra le dipendenze nel contesto della lakehouse corrente e delle sue immediate fonti o lakehouse a monte (un livello profondo). La derivazione estesa si espande in modo da poter tracciare tutte le dipendenze fino alla relativa origine, in modo ricorsivo tra le case del lago.

Per visualizzare la derivazione estesa:

1. Aprire la scheda Gestisci della vista lake materializzata.

2. Attivare l'interruttore Derivazione estesa sulla barra degli strumenti.

La derivazione viene aggiornata per visualizzare tutte le dipendenze upstream, incluse le viste lake materializzate e le tabelle di origine in altri lakehouse. Ogni nodo del grafico visualizza il nome e la lakehouse. Il tipo di nodo (tabella, collegamento o vista lake materializzata) è indicato da un'icona.

Nodi con errori

Quando una dipendenza a monte manca, viene eliminata o è inaccessibile, appare come un nodo in errore nel grafico di lineage. I nodi con errori visualizzano un indicatore di errore con un messaggio che spiega il problema, ad esempio "mancante o inaccessibile".

Esecuzione tra lakehouse

Il lineage esteso consente l'esecuzione tra più lakehouse. Una singola lakehouse può definire e aggiornare viste materializzate del lake che fanno riferimento a tabelle tra più lakehouse, incluse lakehouse in altri workspace, eliminando la necessità di duplicare la logica di trasformazione in ciascuna di esse.

Ad esempio, se si dispone di tre lakehouse — Bronze, Silver e Gold — è possibile definire tutte le viste lake materializzate nel lakehouse Gold facendo riferimento a tabelle di origine o viste lake materializzate nei lakehouse Bronze e Silver. Questi lakehouse possono trovarsi nella stessa area di lavoro o in aree di lavoro diverse. Fabric gestisce le letture tra più lakehouse durante l'aggiornamento, quindi mantieni un solo set di definizioni anziché tre.

Pianifica viste materializzate del data lake a monte

Dalla vista estesa della derivazione, è possibile pianificare gli aggiornamenti per le viste lake materializzate a monte in altri lakehouse, senza dover passare separatamente a ogni lakehouse a monte. Quando si crea una pianificazione o un'esecuzione ad hoc, è possibile selezionare i lakehouse da includere nell'aggiornamento. Per informazioni dettagliate, vedere Pianificare un aggiornamento materializzato della vista lake.

Autorizzazioni per la derivazione estesa

Visualizza la linea di successione per l'ingestione di file

Quando una vista lake materializzata acquisisce file con USING OneLake_Files, la relativa origine è una cartella fisica di OneLake, un collegamento a una cartella di OneLake o un singolo file anziché una tabella di origine. La vista di lineage rappresenta la posizione di origine come un nodo upstream che alimenta la vista di acquisizione dei file, in modo da poter tracciare e monitorare una pipeline medallion completa basata su file.

Il grafico di lineage parte dalla posizione di origine che la visualizzazione ingere. Il nodo di origine si collega alla vista materializzata del lake che acquisisce i file, la quale a sua volta può alimentare le viste silver e gold successive, seguendo lo stesso ordine di dipendenza che Fabric applica alle viste basate su tabelle.

Per ispezionare una pipeline basata su file e confermare che l'aggiornamento abbia rilevato modifiche nell'origine, segui questi passaggi:

1. Seleziona il nodo della cartella sorgente per aprire il suo pannello dettagli. Il pannello mostra il percorso OneLake e i file scoperti nella cartella.

   

2. Seleziona il nodo di visualizzazione del lago materializzato che ingerisce file per visualizzarne i dettagli, inclusi il formato sorgente, la modalità schema e la modalità di aggiornamento.

   

3. Apri la scheda Esecuzioni recenti, entra nei dettagli di un'esecuzione gestita e seleziona la vista di acquisizione dei file per vedere le metriche dei file elaborati e delle righe aggiunte.

   

Interpretare le metriche di elaborazione dei file

I file processati sono una metrica a livello di run, non il numero totale di file attualmente presenti nella cartella sorgente. Il conteggio dipende dalla modalità di aggiornamento della visualizzazione:

• Per la APPEND_ONLY modalità di aggiornamento, conta i nuovi file che l'esecuzione ingerisce. Non conta i file che le run precedenti sono già state materializzate.
• Per la FULL modalità refresh, conta i file letti durante la ricostruzione della visualizzazione dallo snapshot della cartella corrente.
• Un'esecuzione riuscita può segnalare zero file processati quando il refresh gestito non rileva nuovi file sorgente.

Usa il pannello dettagli della cartella sorgente per l'inventario attuale e il pannello dettagli di esecuzione per i file su cui è intervenuto un aggiornamento specifico. I due conteggi rispondono a domande diverse e non coincidono necessariamente in un'esecuzione incrementale.

Contenuti correlati

• Panoramica delle viste materializzate del lake in Fabric
• Pianificare un aggiornamento materializzato della vista lake
• Tutorial della vista lacustre materializzata Fabric