Serverless vs. klassisches Rechnen für Pipelines

Jede Lakeflow-Pipeline führt ihre Aktualisierungen entweder auf Serverless-Compute-Umgebung oder auf Classic-Compute-Umgebung aus. Der Rechenmodustyp ist eine Einstellung pro Pipeline, die Sie in den Einstellungen der jeweiligen Pipeline auswählen. Es ist nicht automatisch: Eine Pipeline läuft nur auf serverloser Rechenleistung, wenn man die Serverless-Einstellung aktiviert, und läuft ansonsten auf klassischer Rechenleistung. Diese Seite vergleicht die beiden Optionen, damit Sie für jede Pipeline die richtige auswählen können.

Databricks empfiehlt serverloses Rechnen für fast alle Pipelines. Mit serverless verwaltet Azure Databricks die Infrastruktur für Sie. Es gibt keine Cluster, für die man größen, konfigurieren, sichern oder Berechtigungen erteilen muss, und man erhält Funktionen, die klassische Rechenleistung nicht bieten kann, wie inkrementelle Aktualisierungen und vertikale Autoskalierung. Bei klassischem Rechnen liegt diese Infrastruktur in Ihrer Verantwortung für die Konfiguration und Wartung. Serverless unterstützt fast alles, was Classic Compute macht. Die Ausnahmen sind der alte Hive-Metastore und einige Netzwerkkonfigurationen. Für die meisten Pipelines bedeutet die Wahl klassischer Rechenleistung, dass man manuelle Arbeit übernehmen muss, die sonst von Serverless-Computing übernommen würde.

Important

Die inkrementelle Aktualisierung für materialisierte Ansichten ist nur bei serverlosen Pipelines verfügbar. Materialisierte Ansichten, die auf klassischer Berechnung laufen, werden immer vollständig neu berechnet. Falls inkrementelle Aktualisierungen für Ihren Workload erforderlich sind, verwenden Sie serverloses Computing. Siehe inkrementelle Aktualisierung für materialisierte Ansichten.

Vergleichen Sie Berechnungsoptionen

Die folgende Tabelle vergleicht serverloses und klassisches Rechnen anhand der Fähigkeiten, die am häufigsten die Wahl bestimmen:

Fähigkeit Serverless Klassisch
Infrastrukturverwaltung Azure Databricks verwaltet die gesamte Infrastruktur. Es gibt keine Cluster-Konfiguration. Sie müssen Cluster konfigurieren, einschließlich Autoscaling, Instanztypen und Cluster-Richtlinien.
Inkrementelle Aktualisierung für materialisierte Sichten Unterstützt. Materialisierte Views werden schrittweise aktualisiert, wann immer es kosteneffizient ist, um die Rechenkosten zu senken. Siehe inkrementelle Aktualisierung für materialisierte Ansichten. Nicht unterstützt. Materialisierte Ansichten werden immer vollständig neu berechnet.
Automatische Skalierung Verbesserte Autoskalierung, die horizontal skaliert (mehr Vollstrecker) und vertikal (größere Vollstrecker). Siehe Optimieren der Lakeflow-Pipelineclusternutzung mit automatischer Skalierung. Verbesserte Autoskalierung, die horizontal skaliert. Du wählst die Instanztypen aus.
Stream-Pipelining Standardmäßig aktiviert. Mikrobatches laufen gleichzeitig, um Durchsatz und Latenz zu verbessern. Siehe Konfigurieren einer serverlosen Pipeline. Nicht verfügbar.
Berechtigung zur Erstellung von Recheninstanzen Nicht erforderlich. Alle Workspace-Nutzer können standardmäßig serverlose Pipelines ausführen. Erforderlich. Benutzer benötigen eine uneingeschränkte Erstellungsberechtigung für Cluster oder Zugriff auf eine Compute-Policy.
Berechnungsrichtlinien und Instanztypen Verwaltet von Azure Databricks. Du legst keine Instanztypen oder eine Rechenrichtlinie fest. Man wendet manuell eine Compute-Policy an und wählt Instanztypen für Arbeiter und Treiber aus.
Unity-Katalog Verwendet immer Unity Catalog. Man kann Unity Catalog oder den alten Hive-Metastore verwenden.
Kostenzuordnung Wenden Sie benutzerdefinierte Tags mit einer serverlosen Nutzungsrichtlinie an. Wende benutzerdefinierte Tags auf die Pipeline an. Sie müssen die Tag-Daten manuell mit den Abrechnungsdaten verknüpfen.
Aktualisierungs- und Wartungscluster Verwaltet von Azure Databricks. Du konfigurierst die Update- und Wartungscluster separat.
Ein-Knoten-Berechnung Nicht erforderlich. Azure Databricks dimensioniert die Compute-Ressourcen automatisch entsprechend der Arbeitslast. Du konfigurierst die Single-Node-Compute für kleine oder nicht verteilte Workloads.

Wann man serverlose Rechenleistungen verwenden sollte

Verwenden Sie serverlose Rechenleistungen für jede Pipeline, die keine der unten genannten Classic-only-Einschränkungen trifft. Insbesondere ist serverless die richtige Wahl, wenn:

  • Sie möchten, dass Azure Databricks die Infrastruktur für Sie verwaltet, einschließlich vertikaler Autoskalierung und Instanzauswahl, anstatt Cluster selbst zu konfigurieren und zu pflegen.
  • Man möchte inkrementelle Aktualisierungen für materialisierte Ansichten, um die Aktualisierungskosten zu senken.
  • Sie möchten, dass Workspace-Nutzer Pipelines ohne Cluster-Erstellungsrechte ausführen.

Serverlose Pipelines erfordern einen Arbeitsbereich mit aktiviertem Unity-Katalog und eine serverlos-aktivierte Region. Für Anforderungen und Einrichtung siehe Konfigurieren einer serverlosen Pipeline.

Wann sollte man klassische Berechnung verwenden

Serverless unterstützt nahezu jede Pipeline-Workload, also nutze Classic Compute nur, wenn serverless deine Pipeline überhaupt nicht ausführen kann:

  • Deine Tabellen verwenden den alten Hive-Metastore statt des Unity-Katalogs. Um Hive-Metastore-Tabellen zu Unity Catalog zu migrieren und Serverless zu aktivieren, siehe Hive-Tabellen und -Ansichten auf Unity Catalog aktualisieren.
  • Deine Pipeline erfordert eine private Vernetzung, die von Serverless nicht unterstützt wird.
  • Deine Pipeline läuft in einer Region, in der serverless nicht verfügbar ist.

Bei klassischem Compute müssen Compute-Richtlinien, Instanztypen, Single-Node-Compute sowie separate Cluster für Updates und Wartung von dir konfiguriert und gewartet werden – diese Arbeit übernimmt Serverless für dich.

Optionen zur Einrichtung und Konfiguration finden Sie unter Klassische Compute-Ressourcen für Pipelines konfigurieren.

Setzen Sie den Rechentyp

Sie wählen den Compute-Typ in den Compute-Einstellungen der Pipeline, indem Sie die Serverless-Einstellung aktivieren oder deaktivieren. Neue Pipelines nutzen standardmäßig Serverless. Du kannst auch eine bestehende Pipeline, die mit Unity Catalog konfiguriert ist, in serverlos umwandeln.

Weitere Ressourcen

  • Last updated on