Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Configurare le impostazioni di base per una pipeline, tra cui codice sorgente, catalogo di destinazione e schema, calcolo e modalità pipeline, nell'interfaccia utente dell'area di lavoro.
Databricks consiglia di sviluppare nuove pipeline usando serverless. Per istruzioni di configurazione per le pipeline serverless, vedere Configurare una pipeline serverless.
Le istruzioni di configurazione in questa pagina usano Il catalogo unity. Per istruzioni sulla configurazione delle pipeline con metastore Hive legacy, vedere Usare le pipeline di Lakeflow con il metastore Hive legacy.
Questa pagina illustra le funzionalità per la modalità di pubblicazione predefinita corrente per le pipeline. Le pipeline create prima del 5 febbraio 2025 potrebbero usare la modalità di pubblicazione legacy e LIVE lo schema virtuale. Visualizza lo schema IN DIRETTA (legacy) .
Annotazioni
L'interfaccia utente ha un'opzione per visualizzare e modificare le impostazioni in JSON. È possibile configurare la maggior parte delle impostazioni con l'interfaccia utente o una specifica JSON. Alcune opzioni avanzate sono disponibili solo usando la configurazione JSON.
I file di configurazione JSON sono utili anche quando si distribuiscono pipeline in nuovi ambienti o usando l'interfaccia della riga di comando o l'API REST.
Per un riferimento completo alle impostazioni di configurazione JSON della pipeline, vedere Configurazioni della pipeline.
Impostazioni della pipeline
Le impostazioni della pipeline rientrano in due categorie:
- Codice sorgente: La raccolta di file che dichiarano dataset utilizzando la sintassi della pipeline. Vedere Configurare il codice sorgente.
- Infrastruttura: Impostazioni che controllano il calcolo, come vengono elaborati gli aggiornamenti e dove sono memorizzate le tabelle.
La maggior parte delle impostazioni ha impostazioni predefinite ragionevoli, ma due richiedono attenzione prima dell'esecuzione nell'ambiente di produzione:
- Catalogo target e schema: per rendere disponibili i dati al di fuori della pipeline, dichiarare un catalogo target e uno schema. I dati sono pubblicati in Unity Catalog per impostazione predefinita. Vedere Impostare il catalogo e lo schema di destinazione.
- Accesso ai dati: Il calcolo utilizzato per l'esecuzione deve avere permessi configurati per le tue fonti dati e, se specificato, una posizione di archiviazione.
Configurare una nuova pipeline
Per configurare una nuova pipeline, eseguire le operazioni seguenti:
Nella parte superiore della barra laterale fare clic
Nuovo e quindi selezionare
Pipeline ETL.
Nella parte superiore assegnare alla pipeline un nome univoco.
Sotto il nome è possibile visualizzare il catalogo predefinito e lo schema scelti automaticamente. Modificare questi valori per assegnare alla pipeline impostazioni predefinite diverse.
Il catalogo predefinito e lo schema predefinito sono i set di dati letti o scritti in quando non si qualificano i set di dati con un catalogo o uno schema nel codice. Per altre informazioni, vedere Oggetti di database in Azure Databricks .
Selezionare l'opzione preferita per creare una pipeline:
- Inizia con codice di esempio in SQL per creare una nuova pipeline e struttura di cartelle, incluso codice di esempio in SQL.
- Inizia con codice di esempio in Python per creare una nuova pipeline e struttura di cartelle, incluso codice di esempio in Python.
- Inizia con una singola trasformazione per creare una nuova pipeline e struttura di cartelle, con un nuovo file di codice vuoto.
- Aggiungi asset esistenti per creare una pipeline che puoi associare ai file di codice esistenti nel tuo workspace.
- Crea un progetto controllato dal codice sorgente per creare una pipeline con un nuovo progetto Declarative Automation Bundles, oppure per aggiungere la pipeline a un bundle esistente.
È possibile avere file di codice sorgente SQL e Python nella pipeline ETL. Quando si crea una nuova pipeline e si sceglie un linguaggio per il codice di esempio, il linguaggio è solo per il codice di esempio incluso nella pipeline per impostazione predefinita.
Quando si effettua la selezione, si viene reindirizzati alla pipeline appena creata.
La pipeline ETL viene creata con le impostazioni predefinite seguenti:
Questa configurazione è consigliata per molti casi d'uso, tra cui sviluppo e test, ed è particolarmente adatta ai carichi di lavoro di produzione che devono essere eseguiti in base a una pianificazione. Per informazioni dettagliate sulla pianificazione delle pipeline, vedere Attività delle pipeline per i compiti.
È possibile modificare queste impostazioni dalla barra degli strumenti della pipeline.
In alternativa, è possibile creare una pipeline ETL dal browser dell'area di lavoro:
- Fare clic su Area di lavoro nel riquadro a sinistra.
- Selezionare qualsiasi cartella, incluse le cartelle Git.
- Fare clic su Crea nell'angolo in alto a destra e fare clic su Pipeline ETL.
È anche possibile creare una pipeline ETL dalla pagina processi e pipeline:
- Nell'area di lavoro fare clic
Processi e pipeline nella barra laterale.
- In Nuovo fare clic su Pipeline ETL.
Opzioni di configurazione di calcolo
Databricks consiglia di usare sempre la scalabilità automatica avanzata. I valori predefiniti per altre configurazioni di calcolo funzionano bene per molte pipeline.
Le pipeline serverless rimuovono le opzioni di configurazione di calcolo. Per istruzioni di configurazione per le pipeline serverless, vedere Configurare una pipeline serverless.
Usare le impostazioni seguenti per personalizzare le configurazioni di calcolo:
- Gli amministratori dell'area di lavoro possono configurare criteri cluster. I criteri di calcolo consentono agli amministratori di controllare quali opzioni di calcolo sono disponibili per gli utenti. Vedere Selezionare un criterio di calcolo.
- Facoltativamente, è possibile configurare la modalità cluster per l'esecuzione con dimensione fissa o scalabilità legacy automatica. Vedi Ottimizzare l'utilizzo del cluster della pipeline Lakeflow con la scalabilità automatica.
- Per i carichi di lavoro con scalabilità automatica abilitata, impostare Numero minimo di lavoratori e Numero massimo di lavoratori per definire i limiti dei comportamenti di ridimensionamento. Vedere Configurare il calcolo classico per le pipeline.
- Facoltativamente, puoi disattivare l'accelerazione Photon. Vedi Che cos'è Photon?.
- Usare i tag cluster per monitorare i costi associati alle pipeline. Vedere Configurare i tag di calcolo.
- Configurare tipi di istanze per specificare il tipo di macchine virtuali utilizzate per eseguire la tua pipeline. Vedi Seleziona i tipi di istanza per eseguire una pipeline.
- Selezionare un tipo di lavoro ottimizzato per i carichi di lavoro configurati nella pipeline.
- Facoltativamente, è possibile selezionare un tipo di driver diverso dal tipo di lavoro. Ciò può essere utile per ridurre i costi nelle pipeline con ampi tipi di lavoratori e un basso utilizzo del calcolo del driver o per scegliere un tipo di driver più grande per evitare problemi di esaurimento della memoria nei carichi di lavoro con numerosi piccoli lavoratori.
Imposta l'utente Run as
L'utente Run-as consente di modificare l'identità usata da una pipeline per l'esecuzione e la proprietà delle tabelle create o aggiornate. Ciò è utile nelle situazioni in cui l'utente originale che ha creato la pipeline è stato disattivato, ad esempio se ha lasciato l'azienda. In questi casi, la pipeline può smettere di funzionare e le tabelle pubblicate possono diventare inaccessibili ad altri utenti. Aggiornando la pipeline in modo che venga eseguita con un'identità diversa, ad esempio un'entità servizio, e riassegnando la proprietà delle tabelle pubblicate, è possibile ripristinare l'accesso e garantire che la pipeline continui a funzionare. L'esecuzione delle pipeline come principali del servizio è considerata una procedura consigliata perché non sono legati a utenti singoli, rendendole più sicure, stabili e affidabili per i carichi di lavoro automatizzati.
Autorizzazioni necessarie
Per l'utente che effettua la modifica:
- CAN_MANAGE permessi sulla pipeline
- CAN_USE ruolo sul principale di servizio (se imposta run-as su un principale di servizio)
- Appartenenza al gruppo, oppure Assumi il permesso sul gruppo (se imposta run-as a un gruppo). Consulta Imposta l'identità run-as come gruppo.
Per l'utente run-as, il service principal o il gruppo:
Accesso allo spazio di lavoro:
- Accesso all'area di lavoro autorizzazione per operare all'interno dell'area di lavoro
- autorizzazione Può usare sulle policy del cluster usate dalla pipeline
- Autorizzazione di creazione del calcolo nell'area di lavoro
Accesso al codice sorgente:
- autorizzazione Può leggere su tutti i notebook inclusi nel codice sorgente della pipeline
- autorizzazione Can read sui file del workspace se la pipeline li utilizza
Permessi del Catalogo Unity (per pipeline che utilizzano il Catalogo Unity):
-
USE CATALOGNel catalogo target -
CREATE MATERIALIZED VIEWeUSE SCHEMAsullo schema di destinazione, se la pipeline crea viste materializzate -
CREATE TABLEeUSE SCHEMAsullo schema di destinazione, se la pipeline crea tabelle di streaming -
MODIFYautorizzazione sulle tabelle esistenti che la pipeline aggiorna -
CREATE SCHEMAsul catalogo target, se la pipeline crea nuovi schemi
-
Permessi metastore Hive legacy (per pipeline che utilizzano il metastore Hive):
-
SELECTeMODIFYpermessi sui database e sulle tabelle target
-
Accesso aggiuntivo allo storage cloud (se applicabile):
- Autorizzazioni per la lettura dalle sorgenti di archiviazione
- Autorizzazioni per scrivere nelle destinazioni di archiviazione
Come impostare l'utente "run-as"
È possibile impostare l'utente run-as tramite le impostazioni della pipeline dalla pagina di monitoraggio della pipeline o dall'editor della pipeline. Per modificare l'utente dalla pagina di monitoraggio della pipeline:
- Fare clic su Processi e pipeline per aprire l'elenco delle pipeline e selezionare il nome della pipeline da modificare.
- Nella pagina di monitoraggio della pipeline, clicca su Impostazioni.
- Nella barra laterale Impostazioni pipeline fare clic
Modificare accanto a Esegui come.
- Nel widget di modifica selezionare una delle opzioni seguenti:
- Il proprio account utente
- Un Principal del servizio per cui si dispone dell'autorizzazione CAN_USE
- Un gruppo di account di cui fai parte, o su cui hai il permesso di assumere . Consulta Imposta l'identità run-as come gruppo.
- Fare clic su Salva per applicare le modifiche.
Quando l'utente run-as è stato aggiornato correttamente:
- L'identità della pipeline viene modificata per usare il nuovo utente, il service principal o il gruppo per tutte le esecuzioni future.
- Nelle pipeline del catalogo Unity, il proprietario delle tabelle pubblicate dalla pipeline viene aggiornato per corrispondere alla nuova identità di esecuzione.
- Gli aggiornamenti futuri della pipeline usano le autorizzazioni e le credenziali della nuova identità di esecuzione tramite run-as.
- Analogamente a qualsiasi modifica delle impostazioni, la nuova identità si applica all'aggiornamento successivo della pipeline: le pipeline continue vengono riavviate automaticamente con la nuova identità, mentre le pipeline attivate lo applicano alla successiva esecuzione. La modifica run-as può interrompere un aggiornamento attivo. Vedere Effetto delle modifiche alla configurazione.
Annotazioni
Se l'aggiornamento di run-as ha esito negativo, viene visualizzato un messaggio di errore che spiega il motivo dell'errore. I problemi comuni includono autorizzazioni insufficienti per l'entità servizio.
Imposta l'identità run-as a un gruppo
Impostare l'identità Run as di una pipeline a un gruppo di account funziona allo stesso modo di impostarlo come utente o come principale di servizio. Gli aggiornamenti della pipeline vengono eseguiti con i permessi del gruppo e, nelle pipeline del Catalogo Unity, le tabelle pubblicate dalla pipeline sono di proprietà del gruppo. Usa un gruppo quando vuoi che un team possieda una pipeline automatizzata invece di legarla all'account di una sola persona, così la pipeline continua a funzionare man mano che cambia la membership del team.
In Azure Databricks, un ruolo viene implementato come gruppo, quindi una pipeline il cui Run as è impostato su un gruppo viene eseguito come quel ruolo. Vedere Controllo degli accessi in base al ruolo.
Impostare Run come gruppo non cambia chi possiede la pipeline. La proprietà e l'identità run-as sono impostazioni separate. Per cambiare proprietario, vedi Cambia proprietario del gasdotto.
Per configurare Run come gruppo, devi o sotto:
- Essere un membro del gruppo o
- Avere l'autorizzazione Assume per il gruppo, se il gruppo viene utilizzato per l'accesso esclusivo.
Il gruppo deve essere un gruppo di account assegnato allo spazio di lavoro. I gruppi workspace-locali non possono essere usati come identità run-as, e nemmeno i gruppi adminsintegrati ampi , users, e account users.
Concedi al gruppo tutte le autorizzazioni necessarie per la pipeline, come elencate in Permessi richiesti. Poiché gli aggiornamenti vengono eseguiti con le autorizzazioni del gruppo, ottenere l'accesso al codice sorgente e ai dati della pipeline non è sufficiente.
Per impostare Esegui come su un gruppo nell'interfaccia utente dello spazio di lavoro, segui i passaggi in Come impostare l'utente Esegui come e cerca il gruppo nel widget di modifica. I gruppi compaiono insieme agli utenti e ai responsabili del servizio. Per confermare la modifica, riapri la barra laterale delle impostazioni della pipeline e seleziona che Esegui come mostra il gruppo.
Per impostare un gruppo come identità run-as con l'API REST, impostare run_as.group_name il nome del gruppo. Per creare una pipeline che giri come gruppo, esegui quanto segue:
{
"name": "sales-etl",
"run_as": {
"group_name": "Test Group"
}
}
Per la richiesta completa, vedi Creare una pipeline. Quando aggiorni una definizione di pipeline esistente, imposta updated_run_as.group_name invece.
Per impostare un gruppo come identità run-as in un bundle Declarative Automation Bundles, impostare group_name nella mappa della run_as risorsa della pipeline:
resources:
pipelines:
sales_etl:
name: sales-etl
run_as:
group_name: Test Group
Un'istruzione SET OWNER TO SQL non può impostare un gruppo come proprietario di una visualizzazione materializzata o di una tabella di streaming. Usa l'interfaccia dello spazio di lavoro per questo. Vedere Usare ALTER istruzioni con set di dati della pipeline.
I processi supportano la stessa configurazione di gruppo «run-as». Vedere Impostare Runas su un gruppo.
Altre considerazioni sulla configurazione
Per le pipeline sono disponibili anche le opzioni di configurazione seguenti:
- L'edizione Del prodotto Avanzato consente di accedere a tutte le funzionalità della pipeline. Facoltativamente, è possibile eseguire pipeline usando le edizioni del prodotto Pro o Core . Vedere Scegliere un'edizione del prodotto.
- Imposta la modalità Pipeline per controllare come la pipeline processa i dati. Vedi Imposta la modalità pipeline.
- Per eseguire continuamente una pipeline in produzione, Databricks consiglia di eseguirla all'interno di un job continuo, anziché utilizzare la modalità integrata Continuous della pipeline. Vedi Esegui una pipeline continua con un lavoro continuo.
- Se l'area di lavoro non è configurata per Unity Catalog o il carico di lavoro deve usare il metastore Hive legacy, vedere Usare le pipeline di Lakeflow con il metastore Hive legacy.
- Aggiungere Notifiche per gli aggiornamenti della posta elettronica in base a condizioni di esito positivo o negativo. Vedi Aggiungi le notifiche di posta elettronica agli eventi della pipeline.
- Utilizzare il campo Parametri per dichiarare coppie chiave-valore a cui il codice SQL sorgente può fare riferimento con la sintassi del parametro denominato e che possono essere sovrascritte quando si avvia un aggiornamento o da un job. Consulta Usare i parametri con le pipeline.
- Usare il campo Configurazione per impostare i valori di configurazione di Spark che controllano il comportamento della pipeline, ad esempio
pipelines.enzyme.enabled. Vedere Informazioni di riferimento sulle proprietà della pipeline. Per Python pipeline che richiedono parametrizzazione, il campo Configurazione espone anche i valori aspark.conf.get(). Vedere Parametri di riferimento usando il campo di configurazione. - Configura Tag. I tag sono coppie chiave-valore per la pipeline visibili nell'elenco Jobs e pipeline. I tag associati alla pipeline non influiscono sulla fatturazione.
- Usa il canale Preview per testare la pipeline con le modifiche in sospeso al runtime della pipeline e provare nuove funzionalità.
Imposta la modalità pipeline
L'impostazione della modalità Pipeline controlla come una pipeline elabora i dati:
- Triggered è il default di default. La pipeline aggiorna tutte le tabelle con i dati disponibili all'inizio dell'aggiornamento e poi si interrompe, quindi il calcolo viene eseguito solo per tutta la durata dell'aggiornamento. Eseguire pipeline attivate su richiesta o in base a una pianificazione. Consulta Attività della pipeline per i processi.
- Il continuo mantiene le tabelle fresche elaborando i nuovi dati man mano che arrivano nelle sorgenti. Questo riduce il ritardo tra i nuovi dati e i risultati aggiornati, a scapito di un cluster sempre attivo. Scegli la modalità continua solo quando hai un requisito comprovato di bassa latenza.
Per impostare la modalità, usa l'opzione modalità Pipeline nelle impostazioni della pipeline quando crei o modifichi una pipeline. Per un confronto completo delle due modalità e indicazioni per scegliere tra le due, consulta Modalità pipeline attivata vs. continua.
Come entrano in vigore i cambiamenti di configurazione
Quando modifichi e salvi le impostazioni di una pipeline, la modifica si applica al prossimo aggiornamento della pipeline. Quando un lavoro continuo orchestra la pipeline, non è necessario riavviare il lavoro affinché le impostazioni aggiornate abbiano effetto; Il lavoro li applica al prossimo aggiornamento. Il programma del lavoro determina la modalità di esecuzione, non l'impostazione della modalità Pipeline della pipeline. Vedi Esegui una pipeline continua con un lavoro continuo.
Se usi l'impostazione integrata della modalità Pipeline invece di un lavoro continuo:
- Le pipeline continue vengono riavviate automaticamente con la configurazione aggiornata. Ciò può interrompere un aggiornamento attivo.
- La modifica del tipo da attivato a continuo avvia automaticamente un nuovo aggiornamento con le impostazioni aggiornate. Al contrario, cambiare il tipo da continuo a attivato annulla un aggiornamento attivo.
Scegli un'edizione di prodotto
Seleziona l'edizione del prodotto con le funzionalità più adatte in base ai requisiti della pipeline. Sono disponibili le seguenti edizioni del prodotto:
-
Coreper eseguire carichi di lavoro di streaming Ingest. Seleziona l'edizioneCorese la pipeline non richiede funzionalità avanzate, come Change Data Capture (CDC) o expectations. -
Proper eseguire carichi di lavoro di ingestione in streaming e CDC. L'edizioneProdel prodotto supporta tutte le funzionalitàCore, oltre al supporto per i carichi di lavoro che richiedono l'aggiornamento delle tabelle in base alle modifiche apportate ai dati di origine. -
Advancedper eseguire carichi di lavoro ingest in streaming, carichi di lavoro CDC e carichi che richiedono vincoli di qualità dei dati. L'edizioneAdvanceddel prodotto supporta le funzionalità delleCoreedizioni eProe include vincoli di qualità dei dati con aspettative.
È possibile selezionare l'edizione del prodotto quando si crea o si modifica una pipeline. È possibile scegliere un'edizione diversa per ogni pipeline. Per informazioni dettagliate, inclusa una suddivisione delle funzionalità più completa per edizione, vedere la pagina del prodotto Apache Spark Declarative Pipelines on Databricks (Pipeline dichiarative di Apache Spark™ in Databricks).
Annotazioni
La pipeline serverless richiede l'edizione Advanced. Classic Compute supporta tutte le edizioni.
Le pipeline mantengono 60 giorni di aggiornamenti precedenti nell'interfaccia utente della pipeline e nell'API Pipeline.
Gli aggiornamenti attivi (non finali) vengono sempre visualizzati. Se un aggiornamento è precedente alla finestra di conservazione, Azure Databricks lo esclude dalle risposte di elenco, ma lo mantiene nel registro eventi sottostante.
Nota: se la pipeline include funzionalità non supportate dall'edizione del prodotto selezionata, ad esempio le aspettative, viene visualizzato un messaggio di errore che spiega il motivo dell'errore. È quindi possibile modificare la pipeline per selezionare l'edizione appropriata.
Configura il codice sorgente
È possibile usare il browser asset nell'editor di Lakeflow Pipelines per configurare il codice sorgente che definisce la pipeline. Il codice sorgente della pipeline è definito negli script SQL o Python archiviati nei file dell'area di lavoro. Quando si crea o si modifica la pipeline, è possibile aggiungere uno o più file. Per impostazione predefinita, il codice sorgente della pipeline si trova nella transformations cartella nella cartella radice della pipeline.
Poiché le pipeline analizzano automaticamente le dipendenze del set di dati per costruire il grafico di elaborazione, è possibile aggiungere asset di codice sorgente in qualsiasi ordine.
Per altre informazioni sull'uso dell'editor di Pipelines lakeflow, vedere Sviluppare ed eseguire il debug di pipeline ETL con l'editor di Pipelines lakeflow.
Gestire le dipendenze esterne per le pipeline che usano Python
Le pipeline supportano l'uso di dipendenze esterne nelle pipeline, ad esempio pacchetti e librerie Python. Per informazioni sulle opzioni e le raccomandazioni per l'uso delle dipendenze, vedere Gestione delle dipendenze Python per le pipeline.
Usare i moduli Python archiviati nell'area di lavoro di Azure Databricks
Oltre a implementare il codice Python nei file di codice sorgente della pipeline, è possibile usare Cartelle Git di Databricks o i file dell'area di lavoro per archiviare il codice come moduli Python. L'archiviazione del codice come moduli Python è particolarmente utile quando si hanno funzionalità comuni da usare in più pipeline o notebook nella stessa pipeline. Per informazioni su come usare i moduli Python con le pipeline, vedere Importare moduli Python da cartelle Git o file dell'area di lavoro.