Gestire la lineage delle viste materializzate del data lake Fabric

Le viste materializzate del lake aiutano a gestire ed eseguire query su set di dati di grandi dimensioni precomputando e archiviando i risultati delle query. In Fabric, la derivazione consente di comprendere le dipendenze e il flusso di aggiornamento, in modo da poter utilizzare MLV in modo più affidabile.

Questo articolo illustra come visualizzare la derivazione, comprendere l'interfaccia di derivazione e usare la derivazione estesa per tracciare le dipendenze tra le case del lago.

Visualizzare la parentela

Una derivazione delle viste lake materializzate mostra l'ordine di dipendenza per le operazioni di aggiornamento. Per mlv, la derivazione rappresenta la sequenza di visualizzazioni che devono essere eseguite quando sono disponibili nuovi dati.

Dopo aver creato la MLV in Fabric, seleziona la scheda Visualizzazioni del lago materializzato nel ribbon, poi seleziona Manage per navigare alla linea MLV.

Derivazione delle viste del lago materializzate

Il codice del notebook definisce la genealogia (flusso MLV), e Fabric la crea quando si realizza il flusso MLV completo.

Importante

La visualizzazione di derivazione considera tutte le scorciatoie come entità di origine. La vista di derivazione tratta tutte le tabelle o le viste lacustri materializzate in uno schema scorciatoia come entità di origine.

Screenshot che mostra un grafico del lavoro in derivazione.

Per eseguire il lineage, pianificalo in base ai requisiti di aggiornamento. Dopo aver pianificato il processo, passare all'esecuzione corrente per visualizzare l'esecuzione della derivazione.

Screenshot che mostra una visualizzazione di derivazione eseguita.

Comprendere la visualizzazione della derivazione

Nella vista della linea di derivazione delle viste materializzate del lago, il sistema elabora i dati in ordine di dipendenza. Ogni vista lake materializzata rappresenta un'operazione, ad esempio la lettura da una tabella di origine o l'esecuzione di una trasformazione. Le frecce mostrano la natura di ogni relazione di dipendenza e ordine di esecuzione.

Selezionare una vista lake materializzata per controllare le relazioni upstream e downstream.

La pagina di derivazione include queste azioni:

  • Aggiornamento: rinfresca la visualizzazione della derivazione per riflettere le modifiche recenti dello stato.

    Annotazioni

    Questa azione aggiorna solo la visualizzazione del lineage. Non aggiorna i dati. La visualizzazione di derivazione viene aggiornata automaticamente ogni 2 minuti quando è in corso un'esecuzione e la scheda del browser è attiva.

    Screenshot che mostra come aggiornare un'interfaccia utente di tracciamento.

  • Cerca nel lineage: cerca una vista materializzata del lake o una tabella specifica per nome all'interno del grafico del lineage.

Schermata che mostra come cercare nell'interfaccia utente di lineage.

  • Nuova vista del lago materializzata: apre un notebook in cui è possibile creare o modificare MLV.

    Annotazioni

    Questi notebook non sono collegati direttamente alla visualizzazione di derivazione.

    Screenshot che mostra una nuova vista materializzata del lago.

  • Gestisci i programmi: Apre il pannello Gestisci i programmi per creare o gestire i programmi di aggiornamento.

    Screenshot che mostra il pulsante pianificazione.

  • Reimposta lineaggio: Reimposta il layout del lineaggio per le dimensioni correnti dello schermo.

    Screenshot che mostra come cambiare il layout della visualizzazione di derivazione.

Visualizzare la derivazione estesa

La derivazione standard mostra le dipendenze nel contesto della lakehouse corrente e delle sue immediate fonti o lakehouse a monte (un livello profondo). La derivazione estesa si espande in modo da poter tracciare tutte le dipendenze fino alla relativa origine, in modo ricorsivo tra le case del lago.

Derivazione standard Discendenza estesa
Scope Current lakehouse + un livello di genitori cross-lakehouse Catena ricorsiva completa in tutti i lakehouse
MLV upstream Visualizzati come nodi foglia — non puoi vedere cosa li alimenta Completamente espanso: tutte le visualizzazioni upstream e le relative origini sono visibili
Cross-lakehouse Non visualizzato Visibile se si dispone dell'accesso in lettura nell'area di lavoro upstream

Per visualizzare la derivazione estesa:

  1. Aprire la scheda Gestisci della vista lake materializzata.

  2. Attivare l'interruttore Derivazione estesa sulla barra degli strumenti.

La derivazione viene aggiornata per visualizzare tutte le dipendenze upstream, incluse le viste lake materializzate e le tabelle di origine in altri lakehouse. Ogni nodo del grafico visualizza il nome e la lakehouse. Il tipo di nodo (tabella, collegamento o vista lake materializzata) è indicato da un'icona.

Annotazioni

È possibile visualizzare le dipendenze upstream solo nelle aree di lavoro in cui si hanno almeno le autorizzazioni di lettura. Le dipendenze nelle aree di lavoro a cui non puoi accedere vengono visualizzate come un nodo in errore.

Nodi con errori

Quando una dipendenza a monte manca, viene eliminata o è inaccessibile, appare come un nodo in errore nel grafico di lineage. I nodi con errori visualizzano un indicatore di errore con un messaggio che spiega il problema, ad esempio "mancante o inaccessibile".

Esecuzione tra lakehouse

Il lineage esteso consente l'esecuzione tra più lakehouse. Una singola lakehouse può definire e aggiornare viste materializzate del lake che fanno riferimento a tabelle tra più lakehouse, incluse lakehouse in altri workspace, eliminando la necessità di duplicare la logica di trasformazione in ciascuna di esse.

Ad esempio, se si dispone di tre lakehouse — Bronze, Silver e Gold — è possibile definire tutte le viste lake materializzate nel lakehouse Gold facendo riferimento a tabelle di origine o viste lake materializzate nei lakehouse Bronze e Silver. Questi lakehouse possono trovarsi nella stessa area di lavoro o in aree di lavoro diverse. Fabric gestisce le letture tra più lakehouse durante l'aggiornamento, quindi mantieni un solo set di definizioni anziché tre.

Pianifica viste materializzate del data lake a monte

Dalla vista estesa della derivazione, è possibile pianificare gli aggiornamenti per le viste lake materializzate a monte in altri lakehouse, senza dover passare separatamente a ogni lakehouse a monte. Quando si crea una pianificazione o un'esecuzione ad hoc, è possibile selezionare i lakehouse da includere nell'aggiornamento. Per informazioni dettagliate, vedere Pianificare un aggiornamento materializzato della vista lake.

Autorizzazioni per la derivazione estesa

Action Autorizzazione necessaria
Visualizzare la derivazione estesa Accesso in lettura nelle aree di lavoro a monte
Pianifica viste materializzate del data lake a monte Collaboratore del lakehouse upstream
Visualizzare i dettagli delle dipendenze upstream Accesso in lettura all'elemento