Gestisci gli aggiornamenti per le pipeline continue

Una pipeline continua funziona senza fermarsi, quindi Azure Databricks non può aspettare che finisca prima di applicare aggiornamenti della piattaforma come nuove versioni di runtime o manutenzione dell'infrastruttura. Per applicare questi aggiornamenti, Azure Databricks riavvia la pipeline. Una finestra di manutenzione ti permette di controllare quando avvengono quei riavvii: selezioni un giorno della settimana, un orario di inizio e un fuso orario, e Azure Databricks inizia la manutenzione solo entro quella finestra.

La finestra di manutenzione è un'impostazione sul lavoro continuo che gestisce la pipeline. Se non ne imposti uno, la manutenzione può essere eseguita in qualunque momento.

Come Azure Databricks applica gli aggiornamenti

Per aggiornare una pipeline continua, Azure Databricks avvia un nuovo aggiornamento della pipeline su un cluster nuovo e chiude quello precedente. Poiché le pipeline continue tengono traccia dei propri progressi in un checkpoint di streaming, il nuovo aggiornamento riprende dal punto in cui si era interrotto il precedente. L'elaborazione dei dati si interrompe brevemente durante lo scambio, poi prosegue senza perdere dati.

Azure Databricks inizia la manutenzione solo entro una finestra di un'ora che inizia all'ora di inizio del giorno selezionato. Il riavvio in sé di solito è breve.

Scegli un giorno e un orario di inizio in cui un breve riavvio è adatto al tuo carico di lavoro.

Quali aggiornamenti sono inclusi?

La manutenzione di una condotta continua può includere:

• Aggiornamenti della versione di Databricks Runtime
• Patch e aggiornamenti della sicurezza
• Aggiornamenti del sistema operativo
• Funzionalità e miglioramenti delle pipeline dichiarative di Spark in Lakeflow
• Manutenzione dell'infrastruttura serverless, come il riciclo periodico di cluster serverless di lunga durata

Sia gli aggiornamenti runtime (aggiornamenti di servizio) sia la manutenzione dell'infrastruttura serverless rispettano la finestra di manutenzione che configuri.

Con quale frequenza vengono applicati gli aggiornamenti?

Azure Databricks applica un aggiornamento solo quando è necessaria la manutenzione. Vengono rilasciate periodicamente nuove versioni runtime e la manutenzione dell'infrastruttura serverless avviene con una cadenza ricorrente. La frequenza con cui un singolo gasdotto riavvia dipende da:

• La cadenza delle nuove release Databricks Runtime che si applicano alla tua pipeline
• Per le pipeline serverless, il programma di riciclo del cluster serverless
• Quanto spesso si verifica la finestra di manutenzione

Quando arriva la finestra di manutenzione e non c'è nessun aggiornamento in sospeso, la finestra passa senza riavvio.

Configura una finestra di manutenzione

Puoi impostare una finestra di manutenzione nell'interfaccia di Azure Databricks o con l'API REST di Jobs.

Una finestra di manutenzione ha tre parti obbligatorie:

Configura una finestra di manutenzione nell'interfaccia utente

Puoi configurare una finestra di manutenzione sia dall'interfaccia dei lavori che dall'interfaccia delle pipeline.

Dall'interfaccia di lavoro

1. Nella barra laterale dell'area di lavoro di Azure Databricks, fai clic sull'icona Flussi di lavoro.Processi e pipeline.
2. Clicca sul nome del lavoro.
3. Nel pannello dettagli del lavoro , apri il trigger Continuo ed espandi Avanzato per trovare la finestra di Manutenzione.
4. Seleziona un giorno della settimana, un orario di inizio e un fuso orario.
5. Fare clic su Salva.

Dall'interfaccia utente di Pipelines

1. Nella barra laterale dell'area di lavoro di Azure Databricks, fai clic sull'icona Flussi di lavoro.Processi e pipeline.
2. Clicca sul nome del gasdotto.
3. Apri Programma e espandi le impostazioni avanzate per trovare la finestra di Manutenzione.
4. Seleziona un giorno della settimana, un orario di inizio e un fuso orario.
5. Fare clic su Salva.

Configura una finestra di manutenzione con l'API Jobs

Imposta il campo maintenance_window all'interno delle impostazioni continuous quando crei o aggiorni un processo con l'API REST Jobs. Il seguente esempio configura la manutenzione per iniziare alle 2:00 ora della costa Est del martedì:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

Tutti e tre i campi (start_hour, day_of_week, e timezone_id) sono necessari quando imposti una finestra di manutenzione. start_hour deve essere un intero da 0 a 23.

Configura le notifiche di manutenzione

Azure Databricks può notificarti quando inizia e termina un riavvio di manutenzione. Le notifiche di manutenzione utilizzano il sistema standard di notifiche Lakeflow Jobs, così puoi inviarle agli indirizzi email o alle destinazioni del sistema come Slack, PagerDuty o Microsoft Teams. Vedere Aggiungere notifiche in un processo.

Due eventi sono disponibili in un lavoro continuo:

• Inizio manutenzione: inviato quando inizia un riavvio di manutenzione. Include il lavoro, la causa (ad esempio, un aggiornamento del servizio) e l'orario di inizio.
• Manutenzione completata: inviata quando il riavvio termina. Include la causa, il tempo di completamento, la durata del riavvio e lo stato della pipeline dopo il riavvio.

Transizioni nell'ora legale

Azure Databricks valuta la finestra di manutenzione nel fuso orario che configuri, quindi la finestra segue le transizioni dell'ora legale di quella zona. Nella maggior parte dei giorni, la finestra inizia all'ora locale configurata da te. Quando cambiano gli orologi diurni, l'inizio può spostarsi fino a un'ora. Seleziona un fuso orario che corrisponda al tuo orario operativo.

Gestire le interruzioni durante gli aggiornamenti

Un riavvio di manutenzione mette in pausa l'elaborazione dei dati mentre il nuovo aggiornamento prende il controllo. Le sorgenti in streaming continuano ad accumulare dati durante la pausa, e il nuovo aggiornamento riprende dal checkpoint della pipeline, quindi nessun dato viene perso.

Se la tua pipeline ha requisiti di latenza rigorosi, seleziona una finestra di manutenzione durante un periodo in cui una breve pausa è accettabile. Per confermare che la pipeline sia tornata in uno stato integro dopo un riavvio, monitora la notifica Manutenzione completata.