Lakehouse-Wiedergabe

Lakehouse Replay verbessert die Qualität und Stabilität künftiger Databricks Runtime-Versionen, indem es automatisch eine kleine Teilmenge schreibgeschützter Workloads aus Ihrem Arbeitsbereich auf den kommenden Runtime-Versionen testet, bevor diese in die Produktion gehen. Wenn eine Workload in der Produktion erfolgreich ist, aber bei der anstehenden Laufzeitversion fehlschlägt, identifiziert und behebt Azure Databricks die Regression, bevor diese Version ausgeliefert wird. Dies macht Laufzeitupgrades sicherer, ohne Setup, Konfiguration oder Wartung erforderlich.

Lakehouse Replay berücksichtigt nur Workloads aus serverlosem Compute, aber die damit erkannten Regressionen tragen zur Verbesserung jeder Databricks Runtime-Version bei, sowohl der klassischen als auch der serverlosen. Bei der serverlosen Verwendung kann Azure Databricks diese Tests auf verwalteten Computeressourcen durchführen, sodass Ihnen die Arbeit für die Wiederholung nicht in Rechnung gestellt wird.

Funktionsweise von Lakehouse Replay

Lakehouse Replay verwendet Schattenausführung zum Testen anstehender Laufzeitversionen:

1. Ihre Workloads werden wie gewohnt in der Produktion ausgeführt.
2. Lakehouse Replay wählt eine kleine Teilmenge sicherer, schreibgeschützter Workloads zu Testzwecken aus.
3. Lakehouse Replay spielt die Spark-Pläne aus den ausgewählten Workloads auf von Azure Databricks verwaltetem Shadow-Compute erneut ab, auf dem eine kommende Runtime-Version läuft.
4. Wenn eine Workload in der Produktion erfolgreich ist, aber bei der Schattenberechnung fehlschlägt, untersucht und löst Databricks die Regression vor der Veröffentlichung der Laufzeitversion.

Schattenberechnung wird vollständig in Ihrem Azure Databricks Arbeitsbereich ausgeführt und hat keine Auswirkungen auf Ihre Produktionsworkloads oder -aufträge.

Was Lakehouse Replay wiedergibt

Wenn Sie Lakehouse Replay aktivieren, bestimmt Azure Databricks automatisch, welche Ihrer Workloads zur Wiedergabe berechtigt sind.

Derzeit konzentriert sich Lakehouse Replay auf schreibgeschützte SQL- und DataFrame-Workloads, die auf serverloser Rechenleistung ausgeführt werden (serverlose SQL-Warehouses, serverlose Notebooks und serverlose Jobs), sowie auf Lesevorgänge auf Unity Catalog Delta-Tabellen. Die Unterstützung für zusätzliche Workloadtypen wird erweitert, sodass mehr Ihrer Workloads automatisch wiedergegeben werden, wenn die Abdeckung wächst.

Für DataFrame-Workloads gibt Lakehouse Replay nur den Spark-Plan wieder, der an den Produktionscluster übermittelt wurde. Vorangehende Python Zellen werden nicht ausgeführt.

Sicherheit und Datenschutz

Lakehouse Replay ändert Ihren bestehenden Datensicherheits- und Datenschutzstatus nicht:

• Kein Datenexport: Lakehouse Replay vergleicht nur den Ausführungsstatus und Laufzeitmetriken, um Diskrepanzen zu erkennen. Es werden keine Abfrageergebnisse gelesen, exportiert oder gespeichert.
• Mit denselben Berechtigungen ausführen: Wiedergegebene Workloads werden mit derselben Benutzeridentität wie die ursprüngliche Produktionsabfrage ausgeführt und berücksichtigen die Berechtigungen von Unity Catalog zum Zeitpunkt der Wiedergabe.
• Isolierte Ausführung: Die für die Wiedergabe verwendete Azure Databricks Schattenberechnung ist von Ihrer Produktionsberechnung isoliert und kann nicht auf externe APIs, Datenbanken oder andere Arbeitsbereiche zugreifen.

Billing

Lakehouse Replay verwendet von Databricks verwaltete serverlose Rechenkapazität, um das Replay auszuführen, und Kunden werden die damit verbundenen Rechenkosten nicht in Rechnung gestellt. Wiedergegebene Workloads können minimale API-Kosten für Objektspeicher verursachen, da eine wiedergegebene Workload Daten mit denselben Berechtigungen und demselben Speicherpfad wie die ursprüngliche Workload liest.

Überwachungsprotokolle

Lakehouse Replay-Aktivität wird in der Überwachungsprotokollsystemtabelle unter dem lakehouseReplay-Dienst aufgezeichnet. Siehe Lakehouse Replay-Ereignisse.

Häufig gestellte Fragen

• Muss ich etwas tun, um Lakehouse Replay zu verwenden?
• Wirkt sich Lakehouse Replay auf meine Produktionsarbeitslasten aus?
• Wie kann ich feststellen, ob meine Workloads wiedergegeben werden?
• Wie häufig werden Workloads erneut ausgeführt?
• Was passiert, wenn eine erneut ausgeführte Workload fehlschlägt?
• Welche Regressionstypen erkennt Lakehouse Replay?

Muss ich etwas tun, um Lakehouse Replay zu verwenden?

Nein. Wenn sie in Ihrem Arbeitsbereich aktiviert ist, wird Lakehouse Replay automatisch ohne Setup, Konfiguration oder Wartung ausgeführt.

Wirkt sich Lakehouse Replay auf meine Produktionsarbeitslasten aus?

Nein. Shadow-Compute wird getrennt von Ihrer Produktionsrechenkapazität ausgeführt und beeinträchtigt weder laufende Workloads noch Jobzeitpläne oder die Abfrageleistung.

Wie kann ich feststellen, ob meine Workloads erneut ausgeführt werden?

Erneut ausgeführte Workloads werden weder in Ihrem Auftragsausführungsverlauf noch in Ihrem Abfrageverlauf angezeigt. Die Lakehouse Replay-Aktivität ist in der Systemtabelle des Überwachungsprotokolls verfügbar.

Wie häufig werden Workloads erneut abgespielt?

Die Samplinghäufigkeit ist probabilistisch und basiert auf Arbeitsbereichsverkehr und Arbeitsauslastungstyp. Die meisten Workloads werden innerhalb einer Stunde nach der ursprünglichen Ausführung wiedergegeben.

Was geschieht, wenn eine erneut ausgeführte Workload fehlschlägt?

Wenn eine Workload auf dem Schatten-Compute fehlschlägt, aber in der Produktion erfolgreich ausgeführt wird, untersucht Azure Databricks den Fall. Wenn Azure Databricks den Fehler als Regression bestätigt, löst Azure Databricks das Problem vor der Veröffentlichung der Laufzeitversion. Azure Databricks benachrichtigt Sie nicht über einzelne Fehler, es sei denn, sie benötigt zusätzlichen Kontext.

Welche Regressionstypen erkennt Lakehouse Replay?

Lakehouse Replay erkennt Ausführungsfehler. Hierbei handelt es sich um Workloads, die in der Produktion erfolgreich sind, aber bei der anstehenden Laufzeitversion fehlschlagen.