On-demand fakturering for Spark i Microsoft Fabric

On-demand fakturering for Spark er en pay-as-you-go faktureringsmodel for Apache Spark-arbejdsbelastninger i Microsoft Fabric. Når du aktiverer det, bruger Spark-jobs ikke længere compute fra din Fabric-kapacitet. I stedet bruger jobs dedikerede serverløse ressourcer, som du fakturerer uafhængigt.

Denne model supplerer standardkapacitetsmodellen, så du kan vælge den bedste løsning pr. arbejdsbyrde.

Vælg mellem on-demand fakturering og kapacitetsmodel

Funktion Kapacitetsmodel On-demand fakturering for Spark
Fakturering Faste omkostninger pr. kapacitetsniveau Betalt efter forbrug for Spark-job
skalering Kapacitet, der deles på tværs af arbejdsbelastninger Spark-skalaer uafhængigt af hinanden
Ressourcekonkurrence Mulige mellem arbejdsbelastninger Dedikerede beregningsgrænser for Spark
Bedste brugssag Forudsigelige arbejdsbelastninger Dynamiske eller bursty Spark-job

Du kan kombinere begge modeller for at balancere omkostninger og ydeevne. For eksempel kør stabile tilbagevendende arbejdsbelastninger på kapacitet og flyt bursty eller ad hoc Spark-arbejdsbelastninger til on-demand fakturering.

Vigtigste fordele

  • Omkostningseffektivitet: Betal kun for Spark-jobets kørseltid.
  • Uafhængig skalering: Spark-arbejdsbelastninger kører uden at påvirke andre kapacitetsbaserede operationer.
  • Enterprise-ready: Integrerer med Azure Quota Management for skaleringsfleksibilitet.

Sådan fungerer on-demand fakturering

Når du aktiverer on-demand fakturering:

  • Spark-jobs bliver aflastet fra Fabric-kapaciteten og forbruger ikke CU fra den kapacitet.
  • Du sætter en maksimal CU-grænse for Spark-arbejdsbelastninger (en kvote-lignende grænse).
  • Fakturering forbliver baseret på Spark-brugsrate (0.5 CU hour) og gælder kun for aktiv jobberegning.
  • Når CU-grænsen nås, begrænses interaktive jobs, og batchjobs sættes i kø.
  • Spark-forbrug og omkostninger vises separat i Microsoft Fabric Capacity Metrics-appen og Azure Cost Analysis.

Vigtigt

On-demand-fakturering er opt-in pr. kapacitet og springer ikke fra eller falder tilbage til Fabric-kapacitet. Det er en separat serverløs pay-as-you-go-model.

Funktionsmåde for samtidighed i job og kø

Når du aktiverer on-demand fakturering, styrer den maksimale Capacity Unit (CU)-grænse, som Fabric-kapacitetsadministratoren konfigurerer, Spark-samtidigheden. I modsætning til standardkapacitet bruger on-demand fakturering ikke bursting eller smoothing.

  • Interaktive Spark-jobs (for eksempel Lakehouse-operationer, tabelforhåndsvisning, Indlæsning til tabel eller interaktive notebook-forespørgsler) begrænses , når tilgængelige CU'er er fuldt udnyttet.
  • Baggrunds-Spark-jobs (udløst af pipelines, scheduler, API-eksekveringer, Spark-jobdefinitioner eller tabelvedligeholdelse) sættes i kø.

Køstørrelsen er knyttet til CU-grænsen.

Bemærkning

Hvis den maksimale CU-grænse er 2048, kan Spark-køen holde op til 2048 jobs.

Denne adfærd holder allokeringen forudsigelig og kontrollerbar, samtidig med at den understøtter Spark-arbejdsbelastninger med højt volumen.

Anmod om yderligere kvoter

Hvis dine Data Engineering- eller Data Science-arbejdsbelastninger kræver en højere kvote end din nuværende maksimale CU-grænse, anmod om en forhøjelse af Azure-kvoterne:

  1. Navigér til portalen Azure og log ind.
  2. I søgefeltet skal du skrive og vælge Azure Quotas.
  3. Vælg Microsoft Fabric fra listen over tilgængelige tjenester.
  4. Vælg det abonnement, der er knyttet til din Fabric-kapacitet.
  5. Rediger kvotegrænsen ved at angive den nye CU-grænse, du vil hente.
  6. Send din kvoteanmodning.

Diagram viser autoskaleringsindstillinger i kapacitetsindstillingerne, inklusive en toggle og skyder for maksimale kapacitetsenheder.

Efter godkendelse anvendes den opdaterede CU-grænse på din Fabric-kapacitet.