Serverless versus klassieke rekenkracht voor pijplijnen

Elke Lakeflow-pijplijn voert zijn updates uit op serverless of classic compute. Het computetype is een instelling per pijplijn die je kiest in de instellingen van de pijplijn. Het is niet automatisch: een pijplijn draait alleen op serverless compute wanneer je de Serverless-instelling inschakelt, en draait verder op klassieke compute. Deze pagina vergelijkt de twee opties zodat je voor elke pijplijn de juiste kunt kiezen.

Databricks raadt serverless compute aan voor bijna alle pijplijnen. Met serverless beheert Azure Databricks de infrastructuur voor jou. Er zijn geen clusters om te dimensioneren, te configureren, te beveiligen of rechten voor te verlenen, en je krijgt mogelijkheden die klassieke compute niet kan bieden, zoals incrementele verversing en verticale autoscaling. Bij klassieke compute is die infrastructuur jouw verantwoordelijkheid om te configureren en onderhouden. Serverless ondersteunt bijna alles wat klassieke compute doet. De uitzonderingen zijn de legacy Hive metastore en enkele netwerkconfiguraties. Voor de meeste pipelines betekent het kiezen van klassieke compute dat je handmatig werk moet doen dat serverless anders zou doen.

Important

Incrementele verversing voor gematerialiseerde views is alleen beschikbaar op serverloze pijplijnen. Gematerialiseerde weergaven die op klassieke berekening draaien, worden altijd volledig opnieuw berekend. Als incrementele verversing een vereiste is voor je workload, gebruik dan serverless compute. Zie Stapsgewijze vernieuwing voor gematerialiseerde weergaven.

Vergelijk rekenopties

De volgende tabel vergelijkt serverless en klassieke rekenomgevingen op de mogelijkheden die meestal doorslaggevend zijn bij de keuze:

Vermogen Serverless Classic
Infrastructuurbeheer Azure Databricks beheert alle infrastructuur. Er is geen clusterconfiguratie. Je moet clusters configureren, inclusief autoscaling, instantietypen en clusterbeleid.
Incrementeel verversen voor materiële weergaven Supported. Gematerialiseerde weergaven worden incrementeel vernieuwd wanneer dit kostenefficiënt is, om de rekenkosten te verlagen. Zie Stapsgewijze vernieuwing voor gematerialiseerde weergaven. Wordt niet ondersteund. Gematerialiseerde beelden worden altijd volledig opnieuw berekend.
Autoscaling Verbeterde autoscaling die horizontaal schaalt (meer executeurs) en verticaal (grotere executors). Zie Het gebruik van een Lakeflow-pijplijncluster optimaliseren met automatisch schalen. Verbeterde automatische schaling die horizontaal opschaalt. Je selecteert de instantietypen.
Stroomleidingen Standaard ingeschakeld. Microbatches draaien gelijktijdig om de doorvoer en latentie te verbeteren. Zie Een serverloze pijplijn configureren. Niet beschikbaar.
Machtiging om rekenresources te maken Niet vereist. Alle workspace-gebruikers kunnen standaard serverless pipelines draaien. Required. Gebruikers hebben onbeperkte toestemming nodig voor clustercreatie of toegang tot een compute-beleid.
Berekeningsbeleid en instantietypen Beheerd door Azure Databricks. Je stelt geen instantietypes of een computebeleid in. Je past handmatig een compute-beleid toe en selecteert worker- en driver-instancetypen.
Unity Catalogus Gebruikt altijd Unity Catalog. Je kunt Unity Catalog of de legacy Hive metastore gebruiken.
Kostentoeschrijving Pas aangepaste tags toe met een serverloos gebruiksbeleid. Pas aangepaste tags toe op de pipeline. Je moet taggegevens handmatig koppelen aan factureringsgegevens.
Update- en onderhoudsclusters Beheerd door Azure Databricks. Je configureert de update- en onderhoudsclusters apart.
Enkelknoopsberekening Niet nodig. Azure Databricks stemt de rekenresources automatisch af op de workload. Je configureert single-node compute voor kleine of niet-gedistribueerde workloads.

Wanneer serverless compute te gebruiken

Gebruik serverless compute voor elke pijplijn die niet aan een van de hieronder genoemde classic-only beperkingen voldoet. In het bijzonder is serverless de juiste keuze wanneer:

  • Je wilt dat Azure Databricks de infrastructuur voor je beheert, inclusief verticale autoscaling en instantieselectie, in plaats van zelf clusters te configureren en onderhouden.
  • Je wilt stapsgewijze vernieuwing voor gematerialiseerde weergaven om de vernieuwingskosten te verlagen.
  • Je wilt dat workspace-gebruikers pipelines draaien zonder cluster-aanmaakrechten.

Serverless-pipelines vereisen een werkruimte met ingeschakelde Unity Catalog en een regio waarin serverless is ingeschakeld. Voor vereisten en setup, zie Configureer een serverless pipeline.

Wanneer klassieke rekenwijze te gebruiken

Serverless ondersteunt bijna elke pipeline-werklast, dus gebruik Classic Compute alleen wanneer serverless je pipeline helemaal niet kan draaien:

  • Je tabellen gebruiken de legacy Hive metastore in plaats van Unity Catalog. Om Hive metastore-tabellen te migreren naar Unity Catalog en serverless in te schakelen, zie Hive-tabellen en weergaven upgraden naar Unity Catalog.
  • Je pipeline vereist privénetwerken die serverless niet ondersteunt.
  • Je pipeline draait in een regio waar serverless niet beschikbaar is.

Met klassieke compute moet je computebeleid, instancetypen, single-node-compute en afzonderlijke update- en onderhoudsclusters zelf configureren en onderhouden, werk dat serverless van je overneemt.

Voor setup- en configuratieopties, zie Configure classic compute for pipelines.

Stel het rekentype in

Je kiest het computetype in de Compute-instellingen van de pipeline door de Serverless-instelling in of uit te schakelen. Nieuwe pijplijnen gebruiken standaard serverless. Je kunt ook een bestaande pipeline die met Unity Catalog is geconfigureerd omzetten naar serverless.

Aanvullende bronnen

  • Last updated on