Speicherarchitektur

Lakebase trennt den Speicher von der Berechnung. Ihre Datenbankdaten befinden sich in einer vom Databricks verwalteten verteilten Speicherebene, unabhängig von den Computeinstanzen, die Ihre Abfragen ausführen. Der Speicher bleibt erhalten und bleibt hoch verfügbar, unabhängig davon, ob die Berechnung ausgeführt, angehalten oder skaliert wird.

Für einen Überblick darüber, wie die Rechen- und Speicherschichten zusammenarbeiten, einschließlich Safekeepers und Pageserver, siehe Lakebase-Architektur.

Speicherarchitektur, die zeigt, wie Compute mit zonenredundantem verteiltem Speicher verbunden ist, der in einem von Databricks verwalteten Cloudobjektspeicher persistiert.

Note

Auf Azure speichert Lakebase Daten auf Azure Blob Storage als Cloudobjektspeicherebene. Je nach Region verwendet speicher entweder lokal redundanten Speicher (LRS) oder zonenredundanter Speicher (ZRS). LRS repliziert Daten über mehrere Kopien innerhalb eines einzigen Rechenzentrums und bietet eine hohe Haltbarkeit innerhalb der Region. ZRS repliziert Daten in mehreren Verfügbarkeitszonen. Databricks verwaltet die Speicherredundanzebene. Sie kann nicht vom Kunden konfiguriert werden.

Speicherebene

Lakebase verwendet eine verteilte Speicherarchitektur. Kein einzelner Rechner hat den maßgeblichen Zustand Ihrer Datenbank. Lakebase speichert außerdem Daten in der von Databricks verwalteten Cloud-Objektspeicherung, der Haltbarkeitsgrundlage für die gesamte Speicherschicht. Cloud-Objektspeicher sind für extrem hohe Haltbarkeit ausgelegt und sind nicht auf asynchrone Replikation angewiesen, sodass Replikationsverzögerungen die Haltbarkeit nicht beeinträchtigen. Azure Databricks verwaltet die Konfiguration der Speicherredundanz.

Auf Azure speichert Lakebase Daten auf Azure Blob Storage als Cloudobjektspeicherebene.

Speicherredundanz ist unabhängig von der Berechnung von HA

Azure Databricks verwaltet Lakebase-Speicherredundanz und -verfügbarkeit unabhängig von der High Availability (HA) Compute-Einstellung. Das Aktivieren oder Deaktivieren von HA wirkt sich nicht auf Speicherredundanz aus.

Hohe Verfügbarkeit ist ein Compute-Layer-Feature. Sie stellt im Voraus eine sekundäre Recheninstanz in einer separaten Verfügbarkeitszone für ein automatisches Failover bereit. Speicherredundanz und Compute-HA sind unabhängige Ebenen.

Merkmal Speicherredundanz Rechenleistung mit Hochverfügbarkeit (HA)
Obligatorisch. Ja No
Kundenkonfigurierbar No Ja
Was es schützt Datenbeständigkeit und Verfügbarkeit Möglichkeit zum Ausführen von Abfragen

Vergleich nebeneinander, der zeigt, dass die Speicherredundanz unverändert bleibt, unabhängig davon, ob die Compute-HA deaktiviert oder aktiviert ist.

So ermöglicht die Speichertrennung andere Features

Die Trennung von Speicher vom Compute ermöglicht mehrere Lakebase-Features:

  • Null Datenverlust (RPO = 0): Da Lakebase jede verpflichtete Transaktion in der Speicherschicht dauerhaft aufzeichnet, bevor sie bestätigt wird, verliert man keine verpflichteten Daten, wenn die Berechnung ausfällt, neu startet, auf null skaliert oder überläuft.
  • Sofortige Verzweigungen: Lakebase erstellt Verzweigungen durch Copy-on-Write auf gemeinsam genutztem Speicher. Der Prozess dupliziert keine Daten.
  • Lesereplikate: Mehrere Compute-Instanzen lesen aus derselben gemeinsamen Speicherebene. Für diesen Ansatz ist keine Datenreplikation erforderlich.
  • Scale-to-zero: Die Rechenkapazität wird angehalten, der Speicher bleibt jedoch erhalten. Daten sind sofort verfügbar, wenn die Berechnung fortgesetzt wird.
  • Schnelles Failover: Da der Speicher von der Berechnung getrennt ist, umfasst failover das Verschieben von Daten nicht. Lakebase fördert eine sekundäre Computeinstanz, die eine Verbindung mit dem vorhandenen Speicher herstellt.
  • Hohe Verfügbarkeit: Konfigurieren Sie Redundanz auf Computeebene für automatisches Failover über Verfügbarkeitszonen hinweg. Siehe Hohe Verfügbarkeit.
  • Hohe Verfügbarkeit verwalten: Aktivieren und konfigurieren Sie die HA-Computeeinstellung auf Ihrem Endpunkt. Siehe "Hohe Verfügbarkeit verwalten".
  • Datenbank-Branches: Erfahren Sie, wie Branches Copy-on-Write-Speicher verwenden, um sofort verfügbare isolierte Umgebungen zu erstellen. Siehe Verzweigungen.
  • Lesereplikate: Fügen Sie schreibgeschützte Compute-Instanzen hinzu, die aus derselben Speicherebene lesen, ohne dass Daten repliziert werden. Siehe Lesen von Replikaten.
  • Last updated on