Configurazione delle pipeline

Configurare le impostazioni di base per una pipeline, tra cui codice sorgente, catalogo di destinazione e schema, calcolo e modalità pipeline, nell'interfaccia utente dell'area di lavoro.

Databricks consiglia di sviluppare nuove pipeline usando serverless. Per istruzioni di configurazione per le pipeline serverless, vedere Configurare una pipeline serverless.

Le istruzioni di configurazione in questa pagina usano Il catalogo unity. Per istruzioni sulla configurazione delle pipeline con metastore Hive legacy, vedere Usare le pipeline di Lakeflow con il metastore Hive legacy.

Questa pagina illustra le funzionalità per la modalità di pubblicazione predefinita corrente per le pipeline. Le pipeline create prima del 5 febbraio 2025 potrebbero usare la modalità di pubblicazione legacy e LIVE lo schema virtuale. Visualizza lo schema IN DIRETTA (legacy) .

Annotazioni

L'interfaccia utente ha un'opzione per visualizzare e modificare le impostazioni in JSON. È possibile configurare la maggior parte delle impostazioni con l'interfaccia utente o una specifica JSON. Alcune opzioni avanzate sono disponibili solo usando la configurazione JSON.

I file di configurazione JSON sono utili anche quando si distribuiscono pipeline in nuovi ambienti o usando l'interfaccia della riga di comando o l'API REST.

Per un riferimento completo alle impostazioni di configurazione JSON della pipeline, vedere Configurazioni della pipeline.

Impostazioni della pipeline

Le impostazioni della pipeline rientrano in due categorie:

  • Codice sorgente: La raccolta di file che dichiarano dataset utilizzando la sintassi della pipeline. Vedere Configurare il codice sorgente.
  • Infrastruttura: Impostazioni che controllano il calcolo, come vengono elaborati gli aggiornamenti e dove sono memorizzate le tabelle.

La maggior parte delle impostazioni ha impostazioni predefinite ragionevoli, ma due richiedono attenzione prima dell'esecuzione nell'ambiente di produzione:

  • Catalogo target e schema: per rendere disponibili i dati al di fuori della pipeline, dichiarare un catalogo target e uno schema. I dati sono pubblicati in Unity Catalog per impostazione predefinita. Vedere Impostare il catalogo e lo schema di destinazione.
  • Accesso ai dati: Il calcolo utilizzato per l'esecuzione deve avere permessi configurati per le tue fonti dati e, se specificato, una posizione di archiviazione.

Configurare una nuova pipeline

Per configurare una nuova pipeline, eseguire le operazioni seguenti:

  1. Nella parte superiore della barra laterale fare clic sull'icona Più.Nuovo e quindi selezionare Icona Pipeline.Pipeline ETL.

  2. Nella parte superiore assegnare alla pipeline un nome univoco.

  3. Sotto il nome è possibile visualizzare il catalogo predefinito e lo schema scelti automaticamente. Modificare questi valori per assegnare alla pipeline impostazioni predefinite diverse.

    Il catalogo predefinito e lo schema predefinito sono i set di dati letti o scritti in quando non si qualificano i set di dati con un catalogo o uno schema nel codice. Per altre informazioni, vedere Oggetti di database in Azure Databricks .

  4. Selezionare l'opzione preferita per creare una pipeline:

    • Inizia con codice di esempio in SQL per creare una nuova pipeline e struttura di cartelle, incluso codice di esempio in SQL.
    • Inizia con codice di esempio in Python per creare una nuova pipeline e struttura di cartelle, incluso codice di esempio in Python.
    • Inizia con una singola trasformazione per creare una nuova pipeline e struttura di cartelle, con un nuovo file di codice vuoto.
    • Aggiungi asset esistenti per creare una pipeline che puoi associare ai file di codice esistenti nel tuo workspace.
    • Crea un progetto controllato dal codice sorgente per creare una pipeline con un nuovo progetto Declarative Automation Bundles, oppure per aggiungere la pipeline a un bundle esistente.

    È possibile avere file di codice sorgente SQL e Python nella pipeline ETL. Quando si crea una nuova pipeline e si sceglie un linguaggio per il codice di esempio, il linguaggio è solo per il codice di esempio incluso nella pipeline per impostazione predefinita.

  5. Quando si effettua la selezione, si viene reindirizzati alla pipeline appena creata.

    La pipeline ETL viene creata con le impostazioni predefinite seguenti:

    Questa configurazione è consigliata per molti casi d'uso, tra cui sviluppo e test, ed è particolarmente adatta ai carichi di lavoro di produzione che devono essere eseguiti in base a una pianificazione. Per informazioni dettagliate sulla pianificazione delle pipeline, vedere Attività delle pipeline per i compiti.

    È possibile modificare queste impostazioni dalla barra degli strumenti della pipeline.

In alternativa, è possibile creare una pipeline ETL dal browser dell'area di lavoro:

  1. Fare clic su Area di lavoro nel riquadro a sinistra.
  2. Selezionare qualsiasi cartella, incluse le cartelle Git.
  3. Fare clic su Crea nell'angolo in alto a destra e fare clic su Pipeline ETL.

È anche possibile creare una pipeline ETL dalla pagina processi e pipeline:

  1. Nell'area di lavoro fare clic sull'icona Flussi di lavoro.Processi e pipeline nella barra laterale.
  2. In Nuovo fare clic su Pipeline ETL.

Opzioni di configurazione di calcolo

Databricks consiglia di usare sempre la scalabilità automatica avanzata. I valori predefiniti per altre configurazioni di calcolo funzionano bene per molte pipeline.

Le pipeline serverless rimuovono le opzioni di configurazione di calcolo. Per istruzioni di configurazione per le pipeline serverless, vedere Configurare una pipeline serverless.

Usare le impostazioni seguenti per personalizzare le configurazioni di calcolo:

  • Usare i tag cluster per monitorare i costi associati alle pipeline. Vedere Configurare i tag di calcolo.
  • Configurare tipi di istanze per specificare il tipo di macchine virtuali utilizzate per eseguire la tua pipeline. Vedi Seleziona i tipi di istanza per eseguire una pipeline.
    • Selezionare un tipo di lavoro ottimizzato per i carichi di lavoro configurati nella pipeline.
    • Facoltativamente, è possibile selezionare un tipo di driver diverso dal tipo di lavoro. Ciò può essere utile per ridurre i costi nelle pipeline con ampi tipi di lavoratori e un basso utilizzo del calcolo del driver o per scegliere un tipo di driver più grande per evitare problemi di esaurimento della memoria nei carichi di lavoro con numerosi piccoli lavoratori.

Imposta l'utente Run as

L'utente Run-as consente di modificare l'identità usata da una pipeline per l'esecuzione e la proprietà delle tabelle create o aggiornate. Ciò è utile nelle situazioni in cui l'utente originale che ha creato la pipeline è stato disattivato, ad esempio se ha lasciato l'azienda. In questi casi, la pipeline può smettere di funzionare e le tabelle pubblicate possono diventare inaccessibili ad altri utenti. Aggiornando la pipeline in modo che venga eseguita con un'identità diversa, ad esempio un'entità servizio, e riassegnando la proprietà delle tabelle pubblicate, è possibile ripristinare l'accesso e garantire che la pipeline continui a funzionare. L'esecuzione delle pipeline come principali del servizio è considerata una procedura consigliata perché non sono legati a utenti singoli, rendendole più sicure, stabili e affidabili per i carichi di lavoro automatizzati.

Autorizzazioni necessarie

Per l'utente che effettua la modifica:

  • CAN_MANAGE permessi sulla pipeline
  • CAN_USE ruolo sul principale di servizio (se imposta run-as su un principale di servizio)
  • Appartenenza al gruppo, oppure Assumi il permesso sul gruppo (se imposta run-as a un gruppo). Consulta Imposta l'identità run-as come gruppo.

Per l'utente run-as, il service principal o il gruppo:

  • Accesso allo spazio di lavoro:

    • Accesso all'area di lavoro autorizzazione per operare all'interno dell'area di lavoro
    • autorizzazione Può usare sulle policy del cluster usate dalla pipeline
    • Autorizzazione di creazione del calcolo nell'area di lavoro
  • Accesso al codice sorgente:

    • autorizzazione Può leggere su tutti i notebook inclusi nel codice sorgente della pipeline
    • autorizzazione Can read sui file del workspace se la pipeline li utilizza
  • Permessi del Catalogo Unity (per pipeline che utilizzano il Catalogo Unity):

    • USE CATALOG Nel catalogo target
    • CREATE MATERIALIZED VIEW e USE SCHEMA sullo schema di destinazione, se la pipeline crea viste materializzate
    • CREATE TABLE e USE SCHEMA sullo schema di destinazione, se la pipeline crea tabelle di streaming
    • MODIFY autorizzazione sulle tabelle esistenti che la pipeline aggiorna
    • CREATE SCHEMA sul catalogo target, se la pipeline crea nuovi schemi
  • Permessi metastore Hive legacy (per pipeline che utilizzano il metastore Hive):

    • SELECT e MODIFY permessi sui database e sulle tabelle target
  • Accesso aggiuntivo allo storage cloud (se applicabile):

    • Autorizzazioni per la lettura dalle sorgenti di archiviazione
    • Autorizzazioni per scrivere nelle destinazioni di archiviazione

Come impostare l'utente "run-as"

È possibile impostare l'utente run-as tramite le impostazioni della pipeline dalla pagina di monitoraggio della pipeline o dall'editor della pipeline. Per modificare l'utente dalla pagina di monitoraggio della pipeline:

  1. Fare clic su Processi e pipeline per aprire l'elenco delle pipeline e selezionare il nome della pipeline da modificare.
  2. Nella pagina di monitoraggio della pipeline, clicca su Impostazioni.
  3. Nella barra laterale Impostazioni pipeline fare clic sull'icona a forma di matita. Modificare accanto a Esegui come.
  4. Nel widget di modifica selezionare una delle opzioni seguenti:
    • Il proprio account utente
    • Un Principal del servizio per cui si dispone dell'autorizzazione CAN_USE
    • Un gruppo di account di cui fai parte, o su cui hai il permesso di assumere . Consulta Imposta l'identità run-as come gruppo.
  5. Fare clic su Salva per applicare le modifiche.

Quando l'utente run-as è stato aggiornato correttamente:

  • L'identità della pipeline viene modificata per usare il nuovo utente, il service principal o il gruppo per tutte le esecuzioni future.
  • Nelle pipeline del catalogo Unity, il proprietario delle tabelle pubblicate dalla pipeline viene aggiornato per corrispondere alla nuova identità di esecuzione.
  • Gli aggiornamenti futuri della pipeline usano le autorizzazioni e le credenziali della nuova identità di esecuzione tramite run-as.
  • Analogamente a qualsiasi modifica delle impostazioni, la nuova identità si applica all'aggiornamento successivo della pipeline: le pipeline continue vengono riavviate automaticamente con la nuova identità, mentre le pipeline attivate lo applicano alla successiva esecuzione. La modifica run-as può interrompere un aggiornamento attivo. Vedere Effetto delle modifiche alla configurazione.

Annotazioni

Se l'aggiornamento di run-as ha esito negativo, viene visualizzato un messaggio di errore che spiega il motivo dell'errore. I problemi comuni includono autorizzazioni insufficienti per l'entità servizio.

Imposta l'identità run-as a un gruppo

Impostare l'identità Run as di una pipeline a un gruppo di account funziona allo stesso modo di impostarlo come utente o come principale di servizio. Gli aggiornamenti della pipeline vengono eseguiti con i permessi del gruppo e, nelle pipeline del Catalogo Unity, le tabelle pubblicate dalla pipeline sono di proprietà del gruppo. Usa un gruppo quando vuoi che un team possieda una pipeline automatizzata invece di legarla all'account di una sola persona, così la pipeline continua a funzionare man mano che cambia la membership del team.

In Azure Databricks, un ruolo viene implementato come gruppo, quindi una pipeline il cui Run as è impostato su un gruppo viene eseguito come quel ruolo. Vedere Controllo degli accessi in base al ruolo.

Impostare Run come gruppo non cambia chi possiede la pipeline. La proprietà e l'identità run-as sono impostazioni separate. Per cambiare proprietario, vedi Cambia proprietario del gasdotto.

Per configurare Run come gruppo, devi o sotto:

  • Essere un membro del gruppo o
  • Avere l'autorizzazione Assume per il gruppo, se il gruppo viene utilizzato per l'accesso esclusivo.

Il gruppo deve essere un gruppo di account assegnato allo spazio di lavoro. I gruppi workspace-locali non possono essere usati come identità run-as, e nemmeno i gruppi adminsintegrati ampi , users, e account users.

Concedi al gruppo tutte le autorizzazioni necessarie per la pipeline, come elencate in Permessi richiesti. Poiché gli aggiornamenti vengono eseguiti con le autorizzazioni del gruppo, ottenere l'accesso al codice sorgente e ai dati della pipeline non è sufficiente.

Per impostare Esegui come su un gruppo nell'interfaccia utente dello spazio di lavoro, segui i passaggi in Come impostare l'utente Esegui come e cerca il gruppo nel widget di modifica. I gruppi compaiono insieme agli utenti e ai responsabili del servizio. Per confermare la modifica, riapri la barra laterale delle impostazioni della pipeline e seleziona che Esegui come mostra il gruppo.

Per impostare un gruppo come identità run-as con l'API REST, impostare run_as.group_name il nome del gruppo. Per creare una pipeline che giri come gruppo, esegui quanto segue:

{
  "name": "sales-etl",
  "run_as": {
    "group_name": "Test Group"
  }
}

Per la richiesta completa, vedi Creare una pipeline. Quando aggiorni una definizione di pipeline esistente, imposta updated_run_as.group_name invece.

Per impostare un gruppo come identità run-as in un bundle Declarative Automation Bundles, impostare group_name nella mappa della run_as risorsa della pipeline:

resources:
  pipelines:
    sales_etl:
      name: sales-etl
      run_as:
        group_name: Test Group

Un'istruzione SET OWNER TO SQL non può impostare un gruppo come proprietario di una visualizzazione materializzata o di una tabella di streaming. Usa l'interfaccia dello spazio di lavoro per questo. Vedere Usare ALTER istruzioni con set di dati della pipeline.

I processi supportano la stessa configurazione di gruppo «run-as». Vedere Impostare Runas su un gruppo.

Altre considerazioni sulla configurazione

Per le pipeline sono disponibili anche le opzioni di configurazione seguenti:

Imposta la modalità pipeline

L'impostazione della modalità Pipeline controlla come una pipeline elabora i dati:

  • Triggered è il default di default. La pipeline aggiorna tutte le tabelle con i dati disponibili all'inizio dell'aggiornamento e poi si interrompe, quindi il calcolo viene eseguito solo per tutta la durata dell'aggiornamento. Eseguire pipeline attivate su richiesta o in base a una pianificazione. Consulta Attività della pipeline per i processi.
  • Il continuo mantiene le tabelle fresche elaborando i nuovi dati man mano che arrivano nelle sorgenti. Questo riduce il ritardo tra i nuovi dati e i risultati aggiornati, a scapito di un cluster sempre attivo. Scegli la modalità continua solo quando hai un requisito comprovato di bassa latenza.

Per impostare la modalità, usa l'opzione modalità Pipeline nelle impostazioni della pipeline quando crei o modifichi una pipeline. Per un confronto completo delle due modalità e indicazioni per scegliere tra le due, consulta Modalità pipeline attivata vs. continua.

Come entrano in vigore i cambiamenti di configurazione

Quando modifichi e salvi le impostazioni di una pipeline, la modifica si applica al prossimo aggiornamento della pipeline. Quando un lavoro continuo orchestra la pipeline, non è necessario riavviare il lavoro affinché le impostazioni aggiornate abbiano effetto; Il lavoro li applica al prossimo aggiornamento. Il programma del lavoro determina la modalità di esecuzione, non l'impostazione della modalità Pipeline della pipeline. Vedi Esegui una pipeline continua con un lavoro continuo.

Se usi l'impostazione integrata della modalità Pipeline invece di un lavoro continuo:

  • Le pipeline continue vengono riavviate automaticamente con la configurazione aggiornata. Ciò può interrompere un aggiornamento attivo.
  • La modifica del tipo da attivato a continuo avvia automaticamente un nuovo aggiornamento con le impostazioni aggiornate. Al contrario, cambiare il tipo da continuo a attivato annulla un aggiornamento attivo.

Scegli un'edizione di prodotto

Seleziona l'edizione del prodotto con le funzionalità più adatte in base ai requisiti della pipeline. Sono disponibili le seguenti edizioni del prodotto:

  • Core per eseguire carichi di lavoro di streaming Ingest. Seleziona l'edizione Core se la pipeline non richiede funzionalità avanzate, come Change Data Capture (CDC) o expectations.
  • Pro per eseguire carichi di lavoro di ingestione in streaming e CDC. L'edizione Pro del prodotto supporta tutte le funzionalità Core, oltre al supporto per i carichi di lavoro che richiedono l'aggiornamento delle tabelle in base alle modifiche apportate ai dati di origine.
  • Advanced per eseguire carichi di lavoro ingest in streaming, carichi di lavoro CDC e carichi che richiedono vincoli di qualità dei dati. L'edizione Advanced del prodotto supporta le funzionalità delle Core edizioni e Pro e include vincoli di qualità dei dati con aspettative.

È possibile selezionare l'edizione del prodotto quando si crea o si modifica una pipeline. È possibile scegliere un'edizione diversa per ogni pipeline. Per informazioni dettagliate, inclusa una suddivisione delle funzionalità più completa per edizione, vedere la pagina del prodotto Apache Spark Declarative Pipelines on Databricks (Pipeline dichiarative di Apache Spark™ in Databricks).

Annotazioni

La pipeline serverless richiede l'edizione Advanced. Classic Compute supporta tutte le edizioni.

Le pipeline mantengono 60 giorni di aggiornamenti precedenti nell'interfaccia utente della pipeline e nell'API Pipeline.

Gli aggiornamenti attivi (non finali) vengono sempre visualizzati. Se un aggiornamento è precedente alla finestra di conservazione, Azure Databricks lo esclude dalle risposte di elenco, ma lo mantiene nel registro eventi sottostante.

Nota: se la pipeline include funzionalità non supportate dall'edizione del prodotto selezionata, ad esempio le aspettative, viene visualizzato un messaggio di errore che spiega il motivo dell'errore. È quindi possibile modificare la pipeline per selezionare l'edizione appropriata.

Configura il codice sorgente

È possibile usare il browser asset nell'editor di Lakeflow Pipelines per configurare il codice sorgente che definisce la pipeline. Il codice sorgente della pipeline è definito negli script SQL o Python archiviati nei file dell'area di lavoro. Quando si crea o si modifica la pipeline, è possibile aggiungere uno o più file. Per impostazione predefinita, il codice sorgente della pipeline si trova nella transformations cartella nella cartella radice della pipeline.

Poiché le pipeline analizzano automaticamente le dipendenze del set di dati per costruire il grafico di elaborazione, è possibile aggiungere asset di codice sorgente in qualsiasi ordine.

Per altre informazioni sull'uso dell'editor di Pipelines lakeflow, vedere Sviluppare ed eseguire il debug di pipeline ETL con l'editor di Pipelines lakeflow.

Gestire le dipendenze esterne per le pipeline che usano Python

Le pipeline supportano l'uso di dipendenze esterne nelle pipeline, ad esempio pacchetti e librerie Python. Per informazioni sulle opzioni e le raccomandazioni per l'uso delle dipendenze, vedere Gestione delle dipendenze Python per le pipeline.

Usare i moduli Python archiviati nell'area di lavoro di Azure Databricks

Oltre a implementare il codice Python nei file di codice sorgente della pipeline, è possibile usare Cartelle Git di Databricks o i file dell'area di lavoro per archiviare il codice come moduli Python. L'archiviazione del codice come moduli Python è particolarmente utile quando si hanno funzionalità comuni da usare in più pipeline o notebook nella stessa pipeline. Per informazioni su come usare i moduli Python con le pipeline, vedere Importare moduli Python da cartelle Git o file dell'area di lavoro.