Updates für kontinuierliche Pipelines verwalten

Eine kontinuierliche Pipeline läuft ohne Unterbrechung, sodass Azure Databricks nicht warten kann, bis sie fertig ist, bevor Plattform-Updates wie neue Laufzeitversionen oder Infrastrukturwartungen durchgeführt werden. Um diese Updates anzuwenden, startet Azure Databricks die Pipeline neu. Ein Wartungsfenster ermöglicht es Ihnen, zu kontrollieren, wann diese Neustarts stattfinden: Sie wählen einen Wochentag, eine Startstunde und eine Zeitzone, und Azure Databricks startet die Wartung nur innerhalb dieses Fensters.

Das Wartungsfenster ist eine Einstellung des kontinuierlichen Jobs, der die Pipeline ausführt. Wenn du keinen Zeitpunkt festlegst, kann die Wartung jederzeit durchgeführt werden.

Wie Azure Databricks Updates anwendet

Um eine kontinuierliche Pipeline zu aktualisieren, startet Azure Databricks ein neues Pipeline-Update auf einem frischen Cluster und schaltet das vorherige ab. Da kontinuierliche Pipelines ihren Fortschritt an einem Streaming-Checkpoint verfolgen, setzt das neue Update dort fort, wo das vorherige aufgehört hat. Die Datenverarbeitung pausiert kurz während des Tauschs und geht dann ohne Datenverlust weiter.

Azure Databricks startet die Wartung nur innerhalb eines einstündigen Zeitfensters, das an der von Ihnen ausgewählten Startstunde beginnt. Der Neustart selbst ist meist kurz.

Wählen Sie einen Tag und eine Startuhrzeit aus, zu denen ein kurzer Neustart für Ihre Workload akzeptabel ist.

Welche Updates sind enthalten?

Die Wartung einer durchgehenden Pipeline kann Folgendes umfassen:

  • Upgrades der Databricks Runtime-Version
  • Sicherheitspatches und -updates
  • Betriebssystemupdates
  • Funktionen und Verbesserungen für Spark Declarative Pipelines auf Lakeflow
  • Wartung der serverlosen Infrastruktur, wie das periodische Recycling langjähriger serverloser Cluster

Sowohl Laufzeit-Upgrades (Service-Upgrades) als auch serverlose Infrastrukturwartung respektieren das von dir konfigurierte Wartungsfenster.

Important

Serverlose Cluster haben eine maximale Lebenszeit. Wenn dieses Limit vor deinem nächsten Wartungsfenster erreicht wird, startet Azure Databricks die Pipeline neu, um innerhalb des Limits zu bleiben, auch wenn die aktuelle Zeit außerhalb deines Fensters liegt. Dies stellt sicher, dass eine langjährige Pipeline schließlich recycelt wird.

Wie oft werden Updates angewendet?

Azure Databricks wendet ein Update nur dann an, wenn Wartung erforderlich ist. Neue Laufzeitversionen werden regelmäßig veröffentlicht, und serverlose Infrastrukturwartungen finden in regelmäßigem Rhythmus statt. Wie oft eine einzelne Pipeline neu gestartet wird, hängt davon ab:

  • Der Rhythmus neuer Databricks Runtime-Releases, die auf Ihre Pipeline angewendet werden
  • Für serverlose Pipelines der Zeitplan für das Recycling des serverlosen Clusters
  • Wie oft Ihr Wartungsfenster auftritt

Wenn dein Wartungsfenster beginnt und kein Update aussteht, läuft das Wartungsfenster ohne Neustart ab.

Konfigurieren Sie ein Wartungsfenster

Du kannst ein Wartungsfenster in der Azure Databricks UI oder mit der Jobs REST API einrichten.

Ein Wartungsfenster besteht aus drei erforderlichen Teilen:

Setting Beschreibung
Wochentag Ein einziger Tag, von Montag bis Sonntag.
Startzeit Die Stunde, in der das Fenster beginnt, als ganze Zahl von 0 bis 23, in 24-Stunden-Zeit.
Zeitzone Eine Java-Zeitzonen-ID, wie zum Beispiel America/New_York. Azure Databricks bewertet das Fenster in dieser Zeitzone.

Note

Wartungsfenster gelten nur für kontinuierliche Jobs und Pipelines. Die Einstellung ist nicht verfügbar für Jobs, die nach einem Zeitplan oder einem anderen Auslösertyp laufen.

Konfigurieren Sie ein Wartungsfenster in der Benutzeroberfläche

Du kannst ein Wartungsfenster entweder über die Jobs-UI oder die Pipelines-UI konfigurieren.

Aus der Jobs-UI

  1. Klicken Sie in der Seitenleiste Ihres Azure Databricks-Arbeitsbereichs auf das Workflows-Symbol.Jobs & Pipelines.
  2. Klicken Sie auf den Namen des Jobs.
  3. Öffnen Sie im Bereich „Auftragsdetails“ den Trigger „Kontinuierlich“ und erweitern Sie Erweitert, um Wartungsfenster zu finden.
  4. Wählen Sie einen Wochentag, eine Startzeit und eine Zeitzone aus.
  5. Klicke auf Speichern.

Aus der Pipelines-Benutzeroberfläche

  1. Klicken Sie in der Seitenleiste Ihres Azure Databricks-Arbeitsbereichs auf das Workflows-Symbol.Jobs & Pipelines.
  2. Klicken Sie auf den Namen der Pipeline.
  3. Öffnen Sie den Zeitplan und erweitern Sie die erweiterten Einstellungen, um das Wartungsfenster zu finden.
  4. Wählen Sie einen Wochentag, eine Startzeit und eine Zeitzone aus.
  5. Klicke auf Speichern.

Konfigurieren Sie ein Wartungsfenster mit der Jobs-API

Setze das Feld maintenance_window in den continuous Einstellungen, wenn du einen Job mit der Jobs REST API erstellst oder aktualierst. Das folgende Beispiel konfiguriert die Wartung so ein, dass sie dienstags um 2 Uhr morgens Eastern Time beginnt:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

Alle drei Felder (start_hour, day_of_week, und timezone_id) sind erforderlich, wenn du ein Wartungsfenster einlegst. start_hour muss eine ganze Zahl von 0 nach 23sein.

Wartungsbenachrichtigungen konfigurieren

Azure Databricks kann Sie benachrichtigen, wenn ein Wartungs-Neustart startet und abgeschlossen ist. Wartungsbenachrichtigungen verwenden das Standard-Lakeflow-Jobs-Benachrichtigungssystem, sodass Sie sie an E-Mail-Adressen oder an Systemziele wie Slack, PagerDuty oder Microsoft Teams senden können. Weitere Informationen finden Sie unter Hinzufügen von Benachrichtigungen zu einem Auftrag.

Zwei Veranstaltungen sind im Rahmen eines durchgehenden Auftrags verfügbar:

  • Beginn eines Wartungsneustarts: gesendet, wenn ein Wartungsneustart beginnt. Enthält den Auftrag, die Ursache (zum Beispiel ein Service-Upgrade) und die Startzeit.
  • Wartung abgeschlossen: gesendet, sobald der Neustart abgeschlossen ist. Enthält die Ursache, die Fertigstellungszeit, die Neustartdauer und den Status der Pipeline nach dem Neustart.

Übergänge zur Sommerzeit

Azure Databricks wertet das Wartungsfenster anhand der von dir konfigurierten Zeitzone aus, sodass das Fenster den Umstellungen zwischen Sommer- und Winterzeit in dieser Zeitzone folgt. An den meisten Tagen beginnt das Fenster zu deiner konfigurierten lokalen Stunde. Wenn sich die Uhren am Tag ändern, kann sich der Start um bis zu eine Stunde verschieben. Wählen Sie eine Zeitzone, die zu Ihrem Betriebsplan passt.

Behandeln Sie Störungen während der Aktualisierung

Ein Wartungs-Neustart pausiert die Datenverarbeitung, während das neue Update übernimmt. Streaming-Quellen sammeln während der Pause weiterhin Daten und die neue Aktualisierung wird am Prüfpunkt der Pipeline fortgesetzt, sodass keine Daten verloren gehen.

Wenn Ihre Pipeline strenge Latenzanforderungen hat, wählen Sie ein Wartungsfenster in einer Phase, in der eine kurze Pause akzeptabel ist. Um zu bestätigen, dass die Pipeline nach einem Neustart wieder in einen gesunden Zustand zurückgekehrt ist, überwachen Sie die Benachrichtigung über die Fertigstellung der Wartung .

  • Zuletzt aktualisiert um