On-Demand-Abrechnung für Spark in Microsoft Fabric

Die On-Demand-Abrechnung für Spark ist ein Pay-as-you-go-Abrechnungsmodell für Apache Spark-Workloads in Microsoft Fabric. Wenn Sie dies aktivieren, verbrauchen Spark-Jobs keine Rechenkapazität mehr von Ihrer Fabric-Kapazität. Stattdessen verwenden Jobs dedizierte Serverless-Ressourcen, die separat abgerechnet werden.

Dieses Modell ergänzt das Standardkapazitätsmodell, sodass Sie die beste Option pro Workload auswählen können.

Wählen Sie zwischen On-Demand-Abrechnung und Kapazitätsmodell

Merkmal Kapazitätsmodell On-Demand-Abrechnung für Spark
Abrechnung Fixkosten pro Kapazitätsstufe Bezahlung nach Verbrauch für Spark-Jobs
Skalierung Kapazität, die über Workloads hinweg geteilt wird Spark skaliert unabhängig
Ressourcenkonflikt Möglich zwischen Workloads Dedizierte Rechenlimits für Spark
Optimaler Anwendungsfall Vorhersagbare Workloads Dynamische oder platzende Spark-Aufträge

Sie können beide Modelle kombinieren, um Kosten und Leistung auszugleichen. Zum Beispiel können Sie stabile, wiederkehrende Workloads mit Kapazitätsreservierung ausführen und Spark-Workloads mit stark schwankender Last oder Ad-hoc-Workloads in die On-Demand-Abrechnung verschieben.

Hauptvorteile

  • Kosteneffizienz: Bezahlen Sie nur für Spark-Auftragslaufzeit.
  • Unabhängige Skalierung: Spark-Workloads werden ohne Auswirkungen auf andere kapazitätsbasierte Vorgänge ausgeführt.
  • Enterprise-ready: Integriert in Azure Kontingentverwaltung zur Skalierungsflexibilität.

Wie On-Demand-Abrechnung funktioniert

Wenn Sie On-Demand-Abrechnung aktivieren:

  • Spark-Aufträge werden aus der Fabric-Kapazität ausgelagert und verbrauchen keine Berechnungseinheiten (CU) aus dieser Kapazität.
  • Sie legen einen maximalen CU-Grenzwert für Spark-Workloads (ein Kontingent-ähnliches Limit) fest.
  • Die Abrechnung basiert weiterhin auf spark usage rate (0.5 CU hour) und gilt nur für die aktive Auftragsberechnung.
  • Wenn der CU-Grenzwert erreicht ist, werden interaktive Aufträge gedrosselt, und Batchaufträge werden in die Warteschlange gestellt.
  • Spark-Nutzung und -kosten werden separat in der Microsoft Fabric Capacity Metrics App und in der Azure Cost Analysis angezeigt.

Von Bedeutung

Die bedarfsgesteuerte Abrechnung muss für jede Kapazität separat aktiviert werden und skaliert weder aus der Fabric-Kapazität hoch noch greift sie auf diese zurück. Es ist ein separates serverloses Pay-as-you-go-Modell.

Verhalten von Auftragsgleichzeitigkeit und Warteschlangen

Wenn Sie die bedarfsgesteuerte Abrechnung aktivieren, bestimmt das maximale Limit für Kapazitätseinheiten (CU), das der Fabric-Kapazitätsadministrator konfiguriert, die Spark-Gleichzeitigkeit. Im Gegensatz zur Standardkapazität kommen bei der On-Demand-Abrechnung weder Bursting noch Smoothing zum Einsatz.

  • Interaktive Spark-Aufträge (z. B. Lakehouse-Vorgänge, Tabellenvorschau, In Tabelle laden oder interaktive Notizbuchabfragen) werden gedrosselt, wenn die verfügbaren CUs vollständig ausgelastet sind.
  • Hintergrund-Spark-Jobs (ausgelöst durch Pipelines, Scheduler, API-Ausführungen, Spark-Job-Definitionen oder Tabellenpflege) werden in die Warteschlange gestellt.

Die Warteschlangengröße ist an den CU-Grenzwert gebunden.

Hinweis

Wenn der maximale CU-Grenzwert 2048 beträgt, kann die Spark-Warteschlange bis zu 2048 Aufträge enthalten.

Dieses Verhalten sorgt dafür, dass die Zuordnung vorhersehbar und gesteuert wird, während Spark-Workloads mit hohem Volumen unterstützt werden.

Anfordern zusätzlicher Kontingente

Wenn Ihre Data Engineering- oder Data Science-Workloads ein höheres Kontingent als Ihr aktuelles maximales CU-Limit erfordern, fordern Sie eine Erhöhung der Azure Kontingente an:

  1. Navigieren Sie zum portal Azure und melden Sie sich an.
  2. Geben Sie in der Suchleiste Azure Kontingente ein.
  3. Wählen Sie Microsoft Fabric aus der Liste der verfügbaren Dienste aus.
  4. Wählen Sie das Abonnement aus, das Ihrer Fabric-Kapazität zugeordnet ist.
  5. Bearbeiten Sie das Kontingentlimit, indem Sie den neuen CU-Grenzwert eingeben, den Sie erwerben möchten.
  6. Übermitteln Sie Ihre Kontingentanforderung.

Diagramm mit Einstellungen für die automatische Skalierung in Kapazitätseinstellungen, einschließlich eines Umschalters und Schiebereglers für maximale Kapazitätseinheiten.

Nach der Genehmigung wird der aktualisierte CU-Grenzwert auf Ihre Fabric-Kapazität angewendet.