Creare una preparazione dei dati visivi in Lakeflow Designer

Lakeflow Designer permette di costruire workflow di trasformazione dati su un canvas visivo drag-and-drop. Questa pagina spiega come creare una preparazione visuale dei dati, dall'aggiunta di un'origine dati e dal collegamento degli operatori all'anteprima dei risultati e alla scrittura dei risultati in Unity Catalog.

Requisiti

Per usare Lakeflow Designer, è necessario disporre di:

• Un'area di lavoro di Azure Databricks con Il catalogo Unity abilitato.
• CAN USE autorizzazione su almeno una risorsa di calcolo generica (serverless o all-purpose).

Seleziona la risorsa di calcolo da usare dal selettore delle risorse di calcolo in alto a destra di Designer, accanto al pulsante Pianifica.

Creare una nuova preparazione dei dati visivi

Per creare una nuova preparazione dei dati visivi, fare clic Novità nella barra laterale e selezionare Preparazione dati visivi.

Designer si apre con una schermata di benvenuto in cui è possibile aggiungere un'origine dati o esplorare un esempio di preparazione visiva dei dati.

Per trovare i file di preparazione dei dati visivi esistenti, aprire la pagina Preparazione dati visivi dalla barra laterale. Questa pagina elenca tutti i file di preparazione dei dati visivi e include un video introduttivo per iniziare a usare Lakeflow Designer.

Aggiungere un'origine dati

Ogni preparazione dei dati visivi inizia con una o più origini dati. L'operatore Source rappresenta un'origine dati sul canvas.

Per aggiungere un'origine dati:

1. Aggiungere un operatore Source. Nella schermata iniziale fare clic su Seleziona operatore di origine. Nell'area di disegno aprire il menu dell'operatore e selezionare Origine.
2. Nel riquadro Configurazione origine scegliere come inserire i dati:
   • Selezionare una tabella esistente.
   • Caricare un file CSV locale o Excel.
   • Creare una tabella da un file.
   • Importare da Google Drive o SharePoint.
3. Selezionare o configurare l'origine dati. L'operatore Source viene visualizzato nell'area di disegno.

È anche possibile trascinare e rilasciare un file CSV o Excel direttamente nell'area di disegno per creare rapidamente un operatore Source.

Per modificare l'origine in un secondo momento, aprire l'operatore Source e fare clic su Seleziona una nuova origine dati. La modifica dell'origine invalida la cache di output per tutti gli operatori downstream.

Per informazioni dettagliate su ogni opzione di inserimento, vedere Inserire dati in LakeFlow Designer.

Aggiungere e configurare operatori

Per aggiungere un operatore, aprire il menu dell'operatore nel riquadro laterale sul lato sinistro dell'area di disegno. Fare clic su un operatore per aggiungerlo all'area di disegno oppure trascinare un operatore dal menu nell'area di disegno. È anche possibile fare clic sul + pulsante accanto a qualsiasi operatore esistente per aggiungere un nuovo operatore con una connessione automatica.

Per configurare un operatore, fare doppio clic su di esso oppure passare il puntatore del mouse su di esso e fare clic operatore Modifica) per aprire il riquadro di configurazione. Impostare le opzioni per il tipo di operatore, quindi fare clic su Applica.

Per informazioni dettagliate su ogni operatore disponibile, vedere Operatori predefiniti in Lakeflow Designer. Per informazioni dettagliate sulla creazione di operatori definiti dall'utente, vedere Operatori definiti dall'utente in Lakeflow Designer.

Collega operatori

Per connettere due operatori, fare clic e trascinare dall'handle di output (il piccolo cerchio sul bordo destro di un operatore) all'handle di input (il piccolo cerchio sul bordo sinistro dell'operatore successivo). Specifica che i dati vengono trasmessi dal primo operatore al secondo. I dati passano da sinistra a destra attraverso la preparazione dei dati visivi.

Alcuni operatori, ad esempio Join e Combine, accettano più input.

Per rimuovere una connessione, posizionare il puntatore del mouse su di essa e fare clic nella barra degli strumenti che appare sopra la connessione.

Usare il codice Genie

In qualsiasi momento durante la modifica in Lakeflow Designer, è possibile creare richieste al codice Genie per facilitare l'operazione. Vedere Codice Genie.

Quando si usa Genie Code, i pulsanti seguenti offrono funzionalità aggiuntive:

• : allega un file da usare come parte della richiesta.
• : usare per menzionare oggetti, ad esempio tabelle o file, da usare come parte del prompt.
• : avvia un nuovo thread di chat con il nuovo contesto dell'agente.
• : apre il riquadro laterale per la cronologia delle conversazioni e una visualizzazione più dettagliata delle operazioni dell'agente.

Genie Code mostra un riepilogo di una riga della modifica più recente sopra la casella di input.

Visualizzare in anteprima i risultati

Selezionare qualsiasi operatore per visualizzare i risultati nel riquadro di output nella parte inferiore della schermata. Per la maggior parte dei tipi di operatore, i dati di input si trova a sinistra e i dati di output si trova a destra. Gli operatori che producono risultati non di tabella, ad esempio tracciati, HTML o immagini, eseguono il rendering di tali output direttamente nel riquadro di output.

Usa il controllo di visualizzazione nel riquadro di output per passare tra input e output (opzione predefinita), solo input oppure solo output. Nella visualizzazione combinata trascinare il divisore per ridimensionare i riquadri di input e output.

Per impostazione predefinita, gli operatori elaborano un campione limitato di dati per le anteprime. Usare il menu a discesa Righe analizzate nel riquadro di output per controllare il numero di righe da elaborare:

• Righe analizzate: limite: elabora le prime N righe di input. Specificare il numero di righe nel campo accanto al menu a discesa.
• Righe analizzate: max: elabora tutte le righe di input. In modalità Max, l'operatore mostra anche il numero esatto di righe di output sotto l'operatore nell'area di disegno.

L'impostazione Righe analizzata controlla solo l'elaborazione in anteprima. Le esecuzioni pianificate e le esecuzioni di processi elaborano sempre il set di dati completo.

Esegui la preparazione completa dei dati visivi

Clicca su Esegui tutto per eseguire ogni operatore sulla tela contro l'intero dataset in un'unica azione, senza visualizzare ogni operatore individualmente. Il designer esegue l'intero file di preparazione dei dati visivi e aggiorna i risultati per ogni operatore, poi mostra il conteggio esatto delle righe di output di ciascun operatore sotto di esso sulla tela.

Trasforma i dati direttamente nella tabella dei risultati

Filtra e trasforma i tuoi dati direttamente nella tabella di output. Dopo aver rinominato una colonna, filtrato o inserito una colonna nella tabella dei risultati, clicca su Applica alla canvas per creare gli operatori che riproducono esattamente ciò che hai fatto nella tabella.

Puoi applicare le seguenti operazioni dalla tabella dei risultati:

• Ridenominazione delle colonne
• Rimuovere delle colonne
• Inserisci colonne
• Riordinare le colonne
• Modifica il tipo di dato
• Filter
• Rimuovere duplicati
• Rimuovere i valori Null

Scrivere risultati

Aggiungere un operatore Output per scrivere i risultati. L'operatore Output può scrivere in una tabella del catalogo Unity, pubblicare i risultati come vista materializzata o scrivere un file CSV, Excel o JSON in un volume del catalogo Unity.

1. Aprire il menu dell'operatore e selezionare Output oppure fare clic + accanto all'ultimo operatore e selezionare Output.
2. Connettere l'handle di output dell'ultima trasformazione all'handle di input dell'operatore Output se non è già connesso.
3. Fare doppio clic sull'operatore Output per aprire il relativo riquadro di configurazione.
4. Selezionare un tipo di output e configurare la destinazione. Per una tabella, immettere un nome di tabella, selezionare il percorso di output (catalogo e schema) e selezionare una modalità scrittura.
5. Fare clic su Esegui.

Per il set completo di tipi di output e modalità di scrittura, vedere Output.

Pianificare o eseguire nell'ambiente di produzione

È possibile automatizzare i flussi di lavoro pianificandoli come processi. Fare clic sul pulsante Pianifica nel menu in alto per creare un processo pianificato per la preparazione dei dati visivi oppure aggiungere la preparazione dei dati visivi a un processo di Azure Databricks più grande come attività.

Per spostare una preparazione dei dati visivi nell'ambiente di produzione, inclusa l'archiviazione in Git, la distribuzione con bundle di automazione dichiarativa e la parametrizzazione in ambienti diversi, vedere Spostare un file di preparazione dei dati visivi nell'ambiente di produzione.

Esportare e importare un file di preparazione dei dati visivi

I file di preparazione dei dati visivi vengono archiviati in modo nativo nell'area di lavoro. È possibile esportarli e importarli per spostarli tra aree di lavoro o condividerli.

Per esportare un file di preparazione dei dati visivi:

1. Fare clic Nell'angolo in alto a destra.
2. Selezionare File>Esporta.
3. Il file viene esportato come <file_name>.designer.ipynb.

Per importare un file di preparazione dei dati visivi:

1. Nel file system dell'area di lavoro fare clic
2. Seleziona Importa
3. Selezionare il file di preparazione dei dati visivi da importare.

Per eseguire la versione di un file di preparazione dei dati visivi con Git e portarlo nell'ambiente di produzione, vedere Spostare un file di preparazione dei dati visivi nell'ambiente di produzione.

Rinominare un file di preparazione dei dati visivi

Per rinominare un file di preparazione dei dati visivi, fare clic sulla scheda che ne mostra il nome nella parte superiore dell'editor, quindi immettere un nuovo nome.

Eliminare un file di preparazione dei dati visivi

Per eliminare un file di preparazione dei dati visivi, aprire Menu kebab per il file e selezionare Sposta nel cestino.

Per eliminare più file di preparazione dei dati visivi contemporaneamente, aprire Area di lavoro dal riquadro di spostamento a sinistra, selezionare i file da rimuovere e selezionare Sposta nel cestino nella parte superiore dell'elenco.

Suggerimenti aggiuntivi quando si lavora nell'area di disegno

Nell'area di disegno sono disponibili le azioni seguenti che consentono di modificare la preparazione dei dati visivi.

• Rinominare un operatore: fare clic sulla casella nella parte superiore di qualsiasi riquadro di configurazione per rinominare l'operatore. I nomi descrittivi rendono più facile capire a colpo d’occhio la preparazione visiva dei dati. Alcuni operatori, ad esempio l'operatore SQL, possono fare riferimento all'output di altri operatori in base al nome.
• Copiare un operatore: passare il puntatore del mouse su un operatore e fare clic oppure selezionare un operatore e premere CMD/CTRL+C , quindi CMD/CTRL+V.
• Elimina un operatore: passare il puntatore del mouse su un operatore e fare clic barra degli strumenti visualizzata sopra di essa oppure selezionare l'operatore e premere Canc.
• Abilita o disabilita un operatore: clicca con il tasto destro su un operatore o su un gruppo, e seleziona Disabilita per escluderlo dalle esecuzioni, oppure Abilita per includerlo di nuovo. Un operatore disabilitato non produce righe di output, quindi gli operatori a valle ricevono un risultato vuoto finché non lo abiliti.
• Auto-layout: fare clic nella barra degli strumenti dell'intestazione per disporre automaticamente tutti gli operatori in un layout compatto.
• Adatta visualizzazione: fare clic su Nella barra degli strumenti dell'intestazione per visualizzare tutti gli operatori nel riquadro di visualizzazione corrente.
• Annulla e ripristina: premi Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z, oppure usa i pulsanti di annullamento e ripristino nella barra degli strumenti dell'intestazione.
• Aprire il riquadro comandi: premere CMD+MAIUSC+P in macOS o CTRL+MAIUSC+P in Windows per accedere rapidamente alle azioni dell'editor.
• Visualizza il codice generato: Apri la scheda Indice nel menu a sinistra, seleziona un operatore, quindi espandi la sezione Codice generato per visualizzare il codice generato da Designer. Per altre informazioni, vedere Sommario.
• Visualizza cronologia versioni: fare clic riquadro destro per aprire la cronologia delle versioni dei dati visivi, in cui sono elencate le modifiche. Seleziona una versione per visualizzare un confronto visivo nell’area di disegno che la mette a confronto con la versione successiva, con gli operatori aggiunti, rimossi e modificati evidenziati. Passando il mouse sopra un operatore nell'indice evidenzia l'operatore corrispondente in entrambe le versioni del diff.

Risorse aggiuntive

• Inserire dati in Lakeflow Designer
• Operatori predefiniti in Lakeflow Designer