Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Le modalità di pipeline attivate e continue controllano il modo in cui una pipeline elabora i dati: la modalità attivata aggiorna i dati e si arresta, mentre la modalità continua mantiene aggiornate le tabelle man mano che arrivano nuovi dati. Per i carichi di lavoro che richiedono latenza in millisecondi, vedere Usare la modalità in tempo reale nelle pipeline di Lakeflow.
La modalità pipeline è indipendente dal tipo di tabella da calcolare. Entrambe le viste materializzate e le tabelle di streaming possono essere aggiornate in entrambe le modalità pipeline.
Note
Le operazioni di aggiornamento per le viste materializzate autonome e le tabelle di streaming vengono sempre eseguite usando la modalità pipeline attivata.
Che cos'è la modalità pipeline attivata da un trigger?
Se la pipeline usa la modalità attivata , il sistema si arresta dopo l'aggiornamento di tutte le tabelle in base ai dati disponibili all'avvio dell'aggiornamento.
Che cos'è la modalità pipeline continua?
Se la pipeline usa l'esecuzione continua, elabora nuovi dati man mano che arrivano nelle origini dati per mantenere aggiornate le tabelle lungo tutta la pipeline.
Per evitare l'elaborazione non necessaria in modalità di esecuzione continua, le pipeline monitorano automaticamente le tabelle Delta dipendenti ed eseguono un aggiornamento solo quando il contenuto di tali tabelle dipendenti è stato modificato.
Scegliere una modalità pipeline di dati
La tabella seguente evidenzia le differenze tra le modalità di pipeline attivate e continue:
| Domande chiave | Attivato | Continuo |
|---|---|---|
| Quando l'aggiornamento si arresta? | Automatico quando è completato. | Funziona in modo continuo fino a quando non viene arrestato manualmente. |
| Quali dati vengono elaborati? | Dati disponibili all'avvio dell'aggiornamento. | Tutti i dati man mano che arrivano alle origini configurate. |
| Quali requisiti di aggiornamento dei dati sono ideali per? | Gli aggiornamenti dei dati vengono eseguiti ogni 10 minuti, ogni ora o ogni giorno. | Gli aggiornamenti dei dati sono desiderati tra 10 secondi e alcuni minuti. |
Le pipeline attivate possono ridurre il consumo di risorse e le spese perché il cluster viene eseguito solo il tempo necessario per aggiornare la pipeline. Tuttavia, i nuovi dati non vengono elaborati finché non viene attivata la pipeline. Le pipeline continue richiedono un cluster sempre in esecuzione, che è più costoso, ma riduce la latenza di elaborazione.
Esegui una pipeline continua con un lavoro continuo
Databricks consiglia di eseguire pipeline continue con un lavoro continuo invece di impostare il valore della modalità Pipeline su continuo. Quando un processo continuo orchestra una pipeline, il processo gestisce il ciclo di vita di esecuzione della pipeline e sblocca modalità serverless di prestazioni, come la modalità Standard, che la modalità continua integrata della pipeline non supporta.
Note
L'orchestrazione dei lavori controlla la modalità di esecuzione solo per le pipeline Lakeflow. Le viste materializzate autonome e le tabelle di streaming vengono sempre eseguite in modalità attivata, indipendentemente dall'orchestrazione dei processi.
Quando un job orchestra una pipeline, il job determina la modalità di esecuzione e prevale sull'impostazione Modalità pipeline della pipeline. Un lavoro continuo esegue la sua pipeline in modo continuo anche se la modalità Pipeline della pipeline viene attivata, e un job attivato o programmato esegue la sua pipeline come un singolo aggiornamento anche se la modalità Pipeline della pipeline è continua.
Poiché il lavoro sovrascrive l'impostazione della modalità pipeline, imposta la modalità Pipeline della pipeline su attivata (predefinita) quando la inserisci in un lavoro continuo. Questo evita comportamenti inaspettati se la pipeline gira fuori dal lavoro.
Per configurare un lavoro continuo per una pipeline, vedi Eseguire una pipeline in modo continuo con un job continuo.
Esegui una pipeline con la modalità continua predefinita
L'impostazione continua integrata della pipeline non viene rimossa, ma Databricks ne scoraggia l'uso di nuove pipeline a favore del modello di lavoro continuo. Per passare da attivato a continuo, utilizzare l'opzione modalità pipeline nelle impostazioni di configurazione della pipeline durante la creazione o la modifica di una pipeline. Vedi Configurare le pipeline.
Impostare l'intervallo di trigger per le pipeline continue
Quando si configurano le pipeline per la modalità continua, è possibile impostare intervalli di trigger per controllare la frequenza con cui la pipeline avvia un aggiornamento per ogni flusso. L'intervallo di trigger è una configurazione di pipeline che si applica sia che la pipeline funzioni in modalità continua tramite la propria impostazione di modalità Pipeline sia tramite un lavoro continuo.
È possibile usare pipelines.trigger.interval per controllare l'intervallo di trigger per un flusso che aggiorna una tabella o un'intera pipeline. Poiché una pipeline attivata processa ogni tabella una singola volta, la pipelines.trigger.interval viene utilizzata solo con pipeline continue. Databricks consiglia di impostarlo su tabelle singole, perché le query streaming e batch hanno valori predefiniti diversi. Impostare il valore in una pipeline solo quando l'elaborazione richiede il controllo degli aggiornamenti per l'intero grafico della pipeline.
Per i valori predefiniti per tipo di flusso e per esempi di impostazione pipelines.trigger.interval in SQL, Python e la configurazione della pipeline, vedi Pipelines trigger interval.