Serverless vs. klassisk beräkning för pipelines

Varje Lakeflow Pipelines-pipeline kör sina uppdateringar antingen på serverlösa eller klassiska beräkningsresurser. Beräkningstypen är en per-pipeline-inställning som du väljer i pipelinens inställningar. Det är inte automatiskt: en pipeline körs på serverless compute endast när du aktiverar Serverless-inställningen , och körs annars på klassisk beräkning. Den här sidan jämför de två alternativen så att du kan välja rätt för varje pipeline.

Databricks rekommenderar serverlös beräkning för nästan alla pipelines. Med serverless hanterar Azure Databricks infrastrukturen åt dig. Det finns inga kluster att dimensionera, konfigurera, säkra eller ge behörigheter för, och du får funktioner som klassisk beräkning inte kan erbjuda, såsom inkrementell uppdatering och vertikal autoskalning. Med klassisk beräkning är det ditt ansvar att konfigurera och underhålla den infrastrukturen. Serverless stöder nästan allt som klassisk beräkning gör. Undantagen är den äldre Hive metastore och vissa nätverkskonfigurationer. För de flesta pipelines innebär valet av klassisk beräkning att man tar på sig manuellt arbete som serverless annars skulle hantera.

Important

Inkrementell uppdatering för materialiserade vyer är endast tillgänglig i serverlösa pipelines. Materialiserade vyer som körs med klassisk datorkraft beräknas alltid om i sin helhet. Om inkrementell uppdatering är ett krav för din arbetsbelastning, använd serverless compute. Se Inkrementell uppdatering för materialiserade vyer.

Jämför beräkningsalternativ

Följande tabell jämför serverless och klassisk beräkning över de kapabiliteter som oftast driver valet:

Capability Serverless Classic
Infrastrukturhantering Azure Databricks hanterar all infrastruktur. Det finns ingen klusterkonfiguration. Du måste konfigurera kluster, inklusive autoskalning, instanstyper och klusterpolicys.
Inkrementell uppdatering av materialiserade vyer Stöds. Materialiserade vyer uppdateras stegvis när det är kostnadseffektivt, för att sänka beräkningskostnaderna. Se Inkrementell uppdatering för materialiserade vyer. Stöds inte. Materialiserade vyer beräknas alltid om fullt ut.
Autoscaling Förbättrad autoskalning som skalar horisontellt (fler exekutörer) och vertikalt (större exekutörer). Se Optimera användning av Lakeflow-pipelinekluster med automatisk skalning. Förbättrad autoskalning som skalar horisontellt. Du väljer instanstyperna.
Vattendragledning Aktiverad som standard. Mikrobatcher körs samtidigt för att förbättra genomströmning och latens. Se Konfigurera en serverlös pipeline. Inte tillgängligt.
Behörighet att skapa beräkningar Krävs inte. Alla Workspace-användare kan som standard köra serverlösa pipelines. Required. Användare behöver obegränsad behörighet för klusterskapande eller åtkomst till en beräkningspolicy.
Beräkningsprinciper och instanstyper Hanteras av Azure Databricks. Du sätter inte instanstyper eller någon beräkningspolicy. Du tillämpar manuellt en beräkningspolicy och väljer instanstyper för worker och driver.
Unity-katalog Använder alltid Unity Catalog. Kan använda Unity Catalog eller den äldre Hive-metastoren.
Kostnadstillskrivning Applicera anpassade taggar med en serverlös användningspolicy. Applicera anpassade taggar på pipelinen. Du måste manuellt koppla taggdata till faktureringsdata.
Uppdaterings- och underhållskluster Hanteras av Azure Databricks. Du konfigurerar uppdaterings- och underhållsklustren separat.
Enkelnodberäkning Behövs inte. Azure Databricks dimensionerar beräkningsresurserna automatiskt för arbetsbelastningen. Du konfigurerar beräkning på en enda nod för små eller odistribuerade arbetsbelastningar.

När ska man använda serverless compute

Använd serverless compute för vilken pipeline som helst som inte uppfyller någon av de klassiska begränsningarna nedan. Särskilt serverless är rätt val när:

  • Du vill att Azure Databricks ska hantera infrastrukturen åt dig, inklusive vertikal autoskalning och instansval, istället för att konfigurera och underhålla kluster själv.
  • Du vill ha inkrementell uppdatering för materialiserade vyer för att minska uppdateringskostnaderna.
  • Du vill att workspace-användare ska köra pipelines utan klusterskapandebehörigheter.

Serverlösa pipelines kräver en arbetsyta med Unity Catalog aktiverat och en serverlös region. För krav och installation, se Konfigurera en serverlös pipeline.

När ska man använda klassisk beräkning

Serverless stöder nästan alla pipeline-arbetsbelastningar, så använd klassisk beräkning endast när serverless inte kan köra din pipeline alls:

  • Dina tabeller använder den äldre Hive-metabutiken istället för Unity-katalogen. För att migrera Hive-metastore-tabeller till Unity Catalog och aktivera serverless, se Uppgradera Hive-tabeller och vyer till Unity Catalog.
  • Din pipeline kräver privat nätverksanslutning som serverless inte stöder.
  • Din pipeline körs i en region där serverless inte är tillgängligt.

Med klassisk datorkapacitet är beräkningspolicyer, instanstyper, beräkning på en enda nod samt separata kluster för uppdatering och underhåll sådant som du själv måste konfigurera och underhålla, ett arbete som serverless sköter åt dig.

För installations- och konfigurationsalternativ, se Konfigurera klassisk beräkning för pipelines.

Sätt beräkningstypen

Du väljer beräkningstypen i pipelinens Beräkningsinställningar genom att aktivera eller inaktivera Serverless-inställningen . Nya pipelines använder serverless som standard. Du kan också konvertera en befintlig pipeline konfigurerad med Unity Catalog till serverlös.

Ytterligare resurser

  • Last updated on