Kostenbeheer voor Feature Store

Op deze pagina wordt beschreven hoe Azure Databricks Feature Store kosten voor rekenresources in rekening brengt en hoe u die kosten kunt bewaken en optimaliseren. Feature Store wordt tegen kostprijs gefactureerd: u betaalt voor de onderliggende serverloze rekenkracht, online store en servinginfrastructuur, zonder extra toeslag.

  • Functiever materialisatie wordt uitgevoerd als serverloze berekening en wordt weergegeven in facturering onder het FEATURE_STORE product, gefactureerd met hetzelfde tarief als serverloze taken en Lakeflow-pijplijnen.
  • Feature serving-eindpunten worden gefactureerd onder de Model Serving-SKU.
  • Online winkels worden gefactureerd op basis van Lakebase Compute, op basis van capaciteitseenheid (CU) en replicaaantallen.

Hoe Feature Store wordt gefactureerd

Kenmerk-materialisatie

Wanneer u Feature Views materialiseert, voert Azure Databricks een serverloze pijplijn uit om featurewaarden te berekenen en weg te schrijven naar offline- en onlinebestemmingen. Dit omvat batchverwerkingstaken, streamingpijplijnen en Kafka-opname. Deze pijplijnen worden uitgevoerd op serverloze berekeningen en worden tegen kosten in rekening gebracht, met een vermenigvuldiger van 1x en geen premium ten opzichte van het onderliggende serverloze platform. Wanneer je een backfill voor Feature Views uitvoert, draait de backfill op dezelfde serverless compute en wordt op dezelfde manier gefactureerd.

In de systeemtabel voor factureerbaar gebruik wordt het gebruik voor materialisatie weergegeven, waarbij billing_origin_product is ingesteld op FEATURE_STORE en een serverless compute-SKU (JOBS_SERVERLESS_COMPUTE, voorafgegaan door uw werkruimtelaag en regio). Het gebruik is is_serverless en is_photon, en usage_metadata omvat data_source (DELTA_TABLE_SOURCE of KAFKA_SOURCE) en operation (FEATURE_MATERIALIZATION of KAFKA_INGESTION) zodat u kosten kunt segmenteren per batch versus streamingworkloads. Het gebruik van backfill heeft dezelfde data_source en operation waarden als batchmaterialisatie. Om de backfill-kosten te identificeren, geef tags door aan backfill_features.

Om de rekenkosten te verlagen, groepeer kenmerken die een offlinebestemming, een onlinebestemming en een trigger delen in één enkele materialize_features-aanroep, zodat ze in één pijplijn worden uitgevoerd. Zie Functieweergaven materialiseren. Zie Uw Lakeflow-taken uitvoeren met serverloze berekeningen voor werkstromen voor meer informatie over hoe serverloze berekeningen worden gefactureerd.

Functie voor eindpunten

Feature-serving-eindpunten leveren vooraf berekende en on-demand features aan real-timeapplicaties. Ze draaien op Model Serving en worden gefactureerd onder de Model Serving-SKU (SERVERLESS_REAL_TIME_INFERENCE), net als aangepaste model-serving-eindpunten. De kosten schalen mee met de rekenkracht die het endpoint beschikbaar stelt om aanvraagverkeer te verwerken. Zie Serve-featuretabellen en de Model Serving prijspagina.

Onlinewinkels

Online winkels bieden functies met een lage latentie voor onlinedeductie. Een Azure Databricks online store wordt aangedreven door Lakebase en wordt gefactureerd op basis van Lakebase-compute, afhankelijk van de capaciteitseenheden (CU's) en leesreplica's die worden ingericht. Elke capaciteitseenheid wijst rekenkracht, geheugen en opslag toe aan de instantie, en u kunt leesreplica's toevoegen voor een hogere beschikbaarheid en leesdoorvoer. Zie Databricks Online Feature Stores voor richtlijnen voor dimensionering, Compute beheren voor hoe capaciteitseenheden worden toegewezen aan compute, en de prijspagina van Lakebase.

Kosten toewijzen met tags en beleidsregels voor serverless-gebruik

Belangrijk

Deze functie bevindt zich in Private Preview. Neem contact op met uw Azure Databricks-contactpersoon om het te proberen.

Wanneer je een materialisatie maakt, een backfill start of een Stream maakt, geef aangepaste tags door, een serverless gebruiksbeleid, of beide. Azure Databricks past ze toe op de taak of Lakeflow-pijplijn die het maakt, zodat de uitgaven jouw attributie dragen in de tabel van het factureerbare gebruikssysteem. Om een beleid aan te maken en de ID ervan te krijgen, zie Create a serverless usage policy.

Beide waarden worden toegepast wanneer de taak of pijplijn wordt aangemaakt. Om bestaande rekenresources anders toe te wijzen, maakt u een nieuwe materialisatie of Stream aan.

Attribuutmaterialisatie berekenen

Geef tags, budget_policy_id, of beide naar materialize_features:

materialized = fe.materialize_features(
    features=features,
    offline_config=offline_config,
    trigger=trigger,
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Voor de volledige handtekening, zie Materialize Feature Views.

Attribuut-backfill compute

Geef tags, budget_policy_id, of beide door aan backfill_features. Ze gelden alleen voor die backfill, dus elke backfill kan zijn eigen naamsvermelding dragen.

backfill = fe.backfill_features(
    features=features,
    backfill_ranges=backfill_ranges,
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Voor de volledige signatuur, zie Backfill Feature Views.

kenmerkbeheerde gegevensinname-rekenkracht

Voor een Stream stelt u tags en budget_policy_id in op de IngestionConfig die u doorgeeft aan create_stream:

from databricks.feature_engineering.entities import IngestionConfig, IngestionDestination

ingestion_config = IngestionConfig(
    ingestion_destination=IngestionDestination(
        delta_table_name="my_catalog.my_schema.events_ingestion"
    ),
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Voor de overige innameopties, zie Een stream opzetten.

Bereken de toeschrijving geldt voor

De tags en het serverless gebruiksbeleid zijn van toepassing op de compute die features materialiseert, features backfillt of Stream-data invoert: de batchmaterialisatiejob, de feature backfill-job, de streaming Lakeflow-pijplijn en de taak die deze orkestreert, en de ingestie-Lakeflow-pijplijn van een Stream met zijn forward-fill- en backfill-taken. Wanneer je materialiseert naar een nieuwe online tabel, gelden ze ook voor de Lakeflow-pijplijn die die tabel synchroon houdt.

Ze zijn niet van toepassing op de online winkel zelf. Om de eigen rekenkracht van een webwinkel eraan toe te schrijven, stel je voor de winkel een beleid voor serverless-gebruik in. Zie Databricks Online Feature Stores.

Limitations

  • Materialiseren naar een online tabel die al bestaat, past noch tags noch budget_policy_id toe, en retourneert geen fout. De Lakeflow-pijplijn die die tabel synchroon houdt, behoudt de tags waarmee hij is aangemaakt. Om de attributie te wijzigen, materialiseer je naar een nieuwe online tabel.
  • Je mag maximaal 25 tags doorstaan.
  • Een tag-sleutel kan tot 127 tekens hebben en een tagwaarde tot 65.535 tekens. Geen van beide kan leeg zijn.
  • Een tag-sleutel kan niet beginnen met databricks:. Dat voorvoegsel is gereserveerd en de check negeert naamval.

Gebruik en kosten controleren

U kunt de kosten van feature store bewaken met behulp van de factureerbare gebruikssysteemtabel. system.billing.usage Materialisatiegebruik wordt geïdentificeerd door billing_origin_product = 'FEATURE_STORE':

SELECT
  usage_date,
  usage_metadata.data_source,
  usage_metadata.operation,
  usage_metadata.job_id,
  usage_metadata.dlt_pipeline_id,
  identity_metadata.run_as,
  sum(usage_quantity) AS dbus,
  usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;

Gebruik usage_metadata.data_source en operation om de kosten op te splitsen per batch versus streaming. De velden usage_metadata.job_id en usage_metadata.dlt_pipeline_id identificeren de specifieke materialisatietaak of pijplijn waarmee elke kostenregel is gegenereerd, zodat u daarop kunt groeperen voor attributie per pijplijn.

De kolom custom_tags bevat de tags die je hebt doorgegeven, samen met de tags die bij het serverless-gebruiksbeleid horen, zodat je op custom_tags['<key>'] kunt groeperen of filteren om uitgaven toe te wijzen. Zie Beleidslabels voor serverless gebruik analyseren in de factureringsgegevens voor informatie over hoe beleidslabels in de factureringsgegevens terechtkomen.

Functiebediening en kosten voor online winkels worden afzonderlijk bijgehouden:

  • Feature-serving-eindpunten staan onder de Model Serving-SKU. Zie kosten voor modelserving controleren.
  • Online store compute staat onder de serverloze SKU van Lakebase (database).

Zie de naslaginformatie over de tabel Factureerbare gebruikssysteem voor meer informatie over de factureerbare gebruikstabel en hoe u er query's op kunt uitvoeren.

Best practices voor kostenoptimalisatie

  • Groepsfuncties in gedeelde materialisatiepijplijnen: functies die een offlinebestemming, onlinebestemming en trigger delen, kunnen samen worden gerealiseerd in één pijplijn, waardoor het aantal pijplijnen waarvoor u betaalt, wordt verminderd.
  • Online winkels hergebruiken: U kunt meerdere functietabellen publiceren naar één online winkel. Voor ontwikkeling, testen en training deelt u één online winkel in projecten in plaats van afzonderlijke winkels te maken.
  • Juiste online winkelcapaciteit: begin met een kleine capaciteitseenheid voor testen en omhoog of omlaag schalen op basis van prestaties en kosten.
  • Resources verwijderen die niet in gebruik zijn: online winkels brengen voortdurend kosten met zich mee. Verwijder online winkels en materialisatiepijplijnen die niet meer nodig zijn.
  • Kies een passende materialisatietrigger: minder vaak geplande triggers kosten minder dan continue of frequente hermaterialisatie. Koppel de trigger aan hoe nieuw uw functies moeten zijn.

Aanvullende bronnen

  • Laatst bijgewerkt om