Fatturazione on-demand per Spark in Microsoft Fabric

La fatturazione on-demand per Spark è un modello pay-as-you-go per i carichi di lavoro Apache Spark in Microsoft Fabric. Quando lo abiliti, i processi Spark non consumano più risorse di calcolo dalla capacità di Fabric. Invece, i lavori utilizzano risorse serverless dedicate che vengono fatturate separatamente.

Questo modello integra il modello di capacità standard in modo da poter scegliere l'opzione migliore per ogni carico di lavoro.

Scegli tra il modello di fatturazione on-demand e il modello di capacità

Caratteristica / Funzionalità Modello di capacità Fatturazione su richiesta per Spark
fatturazione Costo fisso per livello di capacità Pagamento in base al consumo per i lavori Spark
Ridimensionamento Capacità condivisa tra carichi di lavoro Spark si ridimensiona in modo indipendente
Contesa di risorse Possibile tra carichi di lavoro Limiti di calcolo dedicati per Spark
Caso d'uso migliore Carichi di lavoro prevedibili Processi Spark dinamici o intermittenti

È possibile combinare entrambi i modelli per bilanciare i costi e le prestazioni. Ad esempio, esegui carichi di lavoro ricorrenti stabili con capacità riservata e sposta i carichi di lavoro Spark con picchi o ad hoc alla fatturazione on demand.

Vantaggi principali

  • Efficienza dei costi: pagare solo per il runtime del processo Spark.
  • Scalabilità indipendente: i carichi di lavoro Spark vengono eseguiti senza influire sulle altre operazioni basate sulla capacità.
  • Enterprise-ready: si integra con Gestione quote di Azure per una maggiore flessibilità di scalabilità.

Come funziona la fatturazione on-demand

Quando abiliti la fatturazione on-demand:

  • I lavori Spark vengono scaricati dalla capacità di Fabric e non usano CU da tale capacità.
  • È impostato un limite massimo di CU per i carichi di lavoro Spark (simile a quello di una quota).
  • La fatturazione rimane basata sul tasso di utilizzo di Spark (0.5 CU hour) e si applica solo all'elaborazione dei processi attivi.
  • Quando viene raggiunto il limite CU, i processi interattivi vengono limitati e i processi batch vengono accodati.
  • L'uso e il costo di Spark sono mostrati separatamente nell'app Microsoft Fabric Capacity Metrics e nell'Azure Cost Analysis.

Importante

La fatturazione on-demand è facoltativa per ogni capacità e non usa la capacità Fabric in modalità burst né vi ripiega. È un modello serverless separato con pagamento in base al consumo.

Comportamento di concorrenza e accodamento delle attività

Quando si abilita la fatturazione on-demand, il limite massimo delle Unità di Capacità (CU) configurato dall'amministratore di capacità Fabric governa la concorrenza di Spark. A differenza della capacità standard, la fatturazione su richiesta non utilizza il bursting o lo smoothing.

  • I processi Spark interattivi (ad esempio le operazioni Lakehouse, l'anteprima delle tabelle, il caricamento su tabella o le query interattive dei notebook) vengono limitati quando vengono usate completamente le CPU disponibili.
  • I processi Spark in background (attivati da pipeline, scheduler, esecuzioni tramite API, definizioni di processi Spark o manutenzione delle tabelle) vengono messi in coda.

Le dimensione della coda è associata al limite CU.

Annotazioni

Se il limite massimo di cu è 2048, la coda Spark può contenere fino a 2048 processi.

Questo comportamento mantiene l'allocazione prevedibile e controllabile supportando carichi di lavoro Spark con volumi elevati.

Richiedere quote aggiuntive

Se i carichi di lavoro di data engineering o data science richiedono una quota superiore al limite massimo di Compute Units (CU) corrente, è possibile richiedere un aumento dei limiti di Azure:

  1. Passare al portale Azure ed eseguire l'accesso.
  2. Nella barra di ricerca digitare e selezionare Azure Quote.
  3. Scegliere Microsoft Fabric dall'elenco dei servizi disponibili.
  4. Seleziona l'abbonamento associato alla capacità di Fabric.
  5. Modificare il limite di quota immettendo il nuovo limite CU che si intende acquisire.
  6. Inviare la richiesta di quota.

Diagramma che mostra le impostazioni di scalabilità automatica nelle impostazioni di capacità, tra cui un interruttore e un dispositivo di scorrimento per le unità di capacità massime.

Dopo l'approvazione, il limite CU aggiornato viene applicato alla capacità del Fabric.