Updates voor doorlopende pijplijnen beheren

Een continue pijplijn draait zonder te stoppen, dus Azure Databricks kan niet wachten tot deze klaar is voordat platformupdates worden toegepast, zoals nieuwe runtimeversies of infrastructuuronderhoud. Om deze updates toe te passen, start Azure Databricks de pijplijn opnieuw. Een onderhoudsvenster laat je bepalen wanneer die herstarts plaatsvinden: je kiest een dag van de week, een startuur en een tijdzone, en Azure Databricks start onderhoud alleen binnen dat venster.

Het onderhoudsvenster is een instelling voor de continue taak die de pijpleiding laat draaien. Als je er geen instelt, kan onderhoud op elk moment starten.

Hoe Azure Databricks updates toepast

Om een continue pijplijn bij te werken, start Azure Databricks een nieuwe pijplijnupdate op een verse cluster en sluit de vorige af. Omdat continue pijplijnen hun voortgang bijhouden in een streaming-checkpoint, wordt de nieuwe update hervat vanaf het punt waar de vorige eindigde. De gegevensverwerking pauzeert kort tijdens de wissel, maar gaat dan door zonder gegevensverlies te verliezen.

Azure Databricks start onderhoud alleen binnen een venster van één uur dat begint op het startuur van de door u gekozen dag. De herstart zelf is meestal kort.

Kies een dag en startuur wanneer een korte herstart geschikt is voor je werkdruk.

Welke updates zijn opgenomen?

Onderhoud voor een continue pijpleiding kan omvatten:

• Databricks Runtime versie-upgrades
• Beveiligingspatches en updates
• Updates van het besturingssysteem
• Spark Declarative Pipelines on Lakeflow functies en verbeteringen
• Onderhoud van serverloze infrastructuur, zoals het periodiek vernieuwen van langlopende serverless-clusters

Zowel runtime-upgrades (service-upgrades) als serverless infrastructuuronderhoud houden rekening met het onderhoudsvenster dat je instelt.

Hoe vaak worden updates toegepast?

Azure Databricks past een update alleen toe wanneer onderhoud nodig is. Nieuwe runtimeversies worden periodiek uitgebracht en serverless infrastructuuronderhoud vindt in een terugkerend tempo plaats. Hoe vaak een individuele pijplijn opnieuw wordt opgestart hangt af van:

• Het ritme van nieuwe Databricks Runtime-releases die van toepassing zijn op je pipeline
• Voor serverless pipelines: het recyclingschema van het serverless cluster
• Hoe vaak je onderhoudsperiode optreedt

Wanneer je onderhoudsvenster aanbreekt en er geen update in afwachting is, gaat het venster voorbij zonder herstart.

Configureer een onderhoudsvenster

Je kunt een onderhoudsvenster instellen in de Azure Databricks UI of met de Jobs REST API.

Een onderhoudsvenster bestaat uit drie vereiste onderdelen:

Configureer een onderhoudsvenster in de gebruikersinterface

Je kunt een onderhoudsvenster instellen vanuit de Jobs UI of de Pipelines UI.

Vanuit de Jobs-gebruikersinterface

1. Klik in de zijbalk van uw Azure Databricks-werkruimte op het pictogram Workflows.Jobs & Pipelines.
2. Klik op de naam van de baan.
3. Open in het deelvenster Taakdetails de trigger Doorlopend en vouw Geavanceerd uit om onderhoudsvenster te vinden.
4. Kies een dag van de week, een startuur en een tijdzone.
5. Klik op Opslaan.

Vanuit de gebruikersinterface voor pijplijnen

1. Klik in de zijbalk van uw Azure Databricks-werkruimte op het pictogram Workflows.Jobs & Pipelines.
2. Klik op de naam van de pijpleiding.
3. Open Planning en verbreed Geavanceerde instellingen om het Onderhoudsvenster te vinden.
4. Kies een dag van de week, een startuur en een tijdzone.
5. Klik op Opslaan.

Configureer een onderhoudsvenster met de Jobs API

Stel het maintenance_window veld in in de continuous instellingen wanneer je een taak aanmaakt of bijwerkt met de Jobs REST API. Het volgende voorbeeld stelt het onderhoud zo in dat het op dinsdag om 2 uur 's nachts Eastern Time begint:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

Alle drie de velden (start_hour, day_of_week, en timezone_id) zijn vereist wanneer je een onderhoudsvenster instelt. start_hour moet een geheel getal zijn van 0 naar 23.

Configureer onderhoudsmeldingen

Azure Databricks kan je waarschuwen wanneer een onderhoudsherstart start en wanneer deze klaar is. Onderhoudsmeldingen gebruiken het standaard Lakeflow Jobs-notificatiesysteem, zodat je ze kunt sturen naar e-mailadressen of naar systeembestemmingen zoals Slack, PagerDuty of Microsoft Teams. Zie Meldingen toevoegen aan een taak.

Twee evenementen zijn beschikbaar tijdens een doorlopende opdracht:

• Onderhoudsstart: verzonden wanneer een onderhoudsherstart begint. Bevat de klus, de oorzaak (bijvoorbeeld een service-upgrade) en de starttijd.
• Onderhoud voltooid: verzonden wanneer de herstart klaar is. Bevat de oorzaak, de voltooiingstijd, de herstartduur en de status van de pipeline na de herstart.

Overgangen naar zomertijd

Azure Databricks evalueert het onderhoudsvenster in de tijdzone die je instelt, zodat het venster de overgangen van zomertijd in die zone volgt. Op de meeste dagen begint het venster op het lokale tijdstip dat je zelf hebt ingesteld. Op de dag waarop de klok wordt verzet, kan de starttijd maximaal een uur verschuiven. Kies een tijdzone die past bij je werkschema.

Behandel verstoringen tijdens updates

Een onderhoudsherstart pauzeert de gegevensverwerking terwijl de nieuwe update het overneemt. Streamingbronnen blijven data verzamelen tijdens de pauze, en de nieuwe update wordt hervat vanaf het controlepunt van de pijplijn, waardoor er geen data verloren gaat.

Als uw pijpleiding strikte latency-eisen heeft, kies dan een onderhoudsvenster in een periode waarin een korte pauze acceptabel is. Om te bevestigen dat de pijplijn na een herstart weer gezond is, monitor je de melding van het voltooien van onderhoud .