Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Den här sidan beskriver hur Azure Databricks Feature Store debiterar för beräkningsresurser och hur du övervakar och optimerar dessa kostnader. Feature Store debiteras till självkostnadspris: du betalar för den underliggande serverlösa beräkningen, onlinelagret och infrastrukturen för servering utan något extra påslag.
-
Funktionsmaterialisering körs som serverlös beräkning och visas i faktureringen
FEATURE_STOREunder produkten, faktureras i samma takt som serverlösa jobb och Lakeflow-pipelines. - Slutpunkter för tillhandahållande av funktioner debiteras enligt SKU:n för Model Serving.
- Onlinebutiker faktureras mot Lakebase-beräkning baserat på kapacitetsenhet (CU) och antal repliker.
Så debiteras Feature Store
Materialisering av funktioner
När du materialiserar Feature Views kör Azure Databricks en serverlös pipeline för att beräkna och skriva funktionsvärden till offline- och onlinedestinationer. Detta inkluderar jobb för batchmaterialisering, streamingpipelines och Kafka-inhämtning. Dessa pipelines körs på serverlös datorkraft och debiteras till självkostnadspris, med en multiplikator på 1x och utan prispåslag utöver den underliggande serverlösa plattformen. När du kör backfill för Feature Views körs backfillen på samma serverlösa beräkning och faktureras på samma sätt.
I systemtabellen för fakturerbar användning visas användning för materialisering med billing_origin_product inställd på FEATURE_STORE och en serverlös beräknings-SKU (JOBS_SERVERLESS_COMPUTE, med prefix för arbetsytans nivå och region). Användningen är is_serverless och is_photon, och usage_metadata innehåller data_source (DELTA_TABLE_SOURCE eller KAFKA_SOURCE) och operation (FEATURE_MATERIALIZATION eller KAFKA_INGESTION) så att du kan dela upp kostnaden efter batch jämfört med strömningsarbetsbelastningar. Användningen av backfill har samma data_source- och operation-värden som batchmaterialisering. För att identifiera backfill-kostnad, ange tags till backfill_features.
För att minska beräkningskostnaden grupperar du funktioner som delar ett offlinemål, onlinemål och utlöses i ett enda materialize_features anrop så att de körs i en pipeline. Se Materialisera funktionsvyer. Mer information om hur serverlös beräkning faktureras finns i Köra dina Lakeflow-jobb med serverlös beräkning för arbetsflöden.
slutpunkter för feature-serving
Slutpunkter för tillhandahållande av funktioner levererar förberäknade funktioner och funktioner på begäran till realtidsapplikationer. De körs på Model Serving och debiteras enligt Model Serving-SKU:n (SERVERLESS_REAL_TIME_INFERENCE), på samma sätt som anpassade slutpunkter för modellservering. Avgifterna skalar med den beräkningskapacitet som slutpunkten allokerar för att hantera förfrågningstrafik. Se Serve-funktionstabeller och Model Serving-prissidan.
Onlinebutiker
Onlinebutiker har funktioner med låg svarstid för online-slutsatsdragning. En Azure Databricks onlinebutik drivs av Lakebase och faktureras mot Lakebase-beräkning, baserat på kapacitetsenheter (CUs) och läsrepliker som den etablerar. Varje kapacitetsenhet allokerar beräkning, minne och lagring till instansen, och du kan lägga till läsrepliker för högre tillgänglighet och läsdataflöde. Se Databricks Online Feature Stores för vägledning om dimensionering, Hantera beräkningsresurser för information om hur kapacitetsenheter kopplas till beräkningsresurser och Lakebase-prissidan.
Attributkostnader med taggar och serverlösa användningspolicys
Important
Den här funktionen är en privat förhandsversion. Kontakta din Azure Databricks-kontakt om du vill prova det.
När du skapar en materialisering, startar en backfill eller skapar en Stream, ange anpassade taggar, en serverless-användningspolicy eller båda. Azure Databricks tillämpar dem på jobbet eller Lakeflow-pipelinen som det skapar, så att kostnaderna får din attribuering i systemtabellen för debiterbar användning. För att skapa en policy och få dess ID, se Skapa en serverless användningspolicy.
Båda värdena tillämpas när jobbet eller pipelinen skapas. För att fördela befintliga beräkningsresurser på ett annat sätt, skapa en ny materialisering eller Stream.
Attributmaterialiseringsberäkning
Passa tags, budget_policy_id, eller båda till materialize_features:
materialized = fe.materialize_features(
features=features,
offline_config=offline_config,
trigger=trigger,
tags={"team": "ml-platform", "project": "churn"},
budget_policy_id="555e8888-e999-4444-a777-446655440000",
)
För fullständig signatur, se Materialize Feature Views.
Beräkning av attributpåfyllning
Ange tags, budget_policy_id eller båda till backfill_features. De gäller endast för den utfyllningen, så varje utfyllning kan ha sin egen attribuering.
backfill = fe.backfill_features(
features=features,
backfill_ranges=backfill_ranges,
tags={"team": "ml-platform", "project": "churn"},
budget_policy_id="555e8888-e999-4444-a777-446655440000",
)
För fullständig signatur, se Backfill Feature Views.
Attributhanterad ingestionsberäkning
För en Stream anger du tags och IngestionConfig på den create_stream som du skickar till budget_policy_id:
from databricks.feature_engineering.entities import IngestionConfig, IngestionDestination
ingestion_config = IngestionConfig(
ingestion_destination=IngestionDestination(
delta_table_name="my_catalog.my_schema.events_ingestion"
),
tags={"team": "ml-platform", "project": "churn"},
budget_policy_id="555e8888-e999-4444-a777-446655440000",
)
Information om de återstående importalternativen finns i Konfigurera en stream.
Beräkna att attributionen gäller för
Taggarna och den serverlösa användningspolicyn gäller för den beräkning som materialiserar features, backfillar features eller tar in Stream-data: batchmaterialiseringsjobbet, feature backfill-jobbet, den strömmande Lakeflow-pipelinen och jobbet som orkestrerar den, samt en streams intagnings-Lakeflow-pipeline med dess forward-fill- och backfill-jobb. När du materialiserar till en ny online-tabell gäller de även för Lakeflow-pipelinen som håller den tabellen synkroniserad.
De gäller inte själva nätbutiken. För att attribuera en onlinebutiks egen beräkningskapacitet anger du en användningspolicy för serverless för butiken. Se Databricks Online Feature Stores.
Limitations
- Att materialisera till en onlinetabell som redan finns innebär att varken
tagsellerbudget_policy_idtillämpas, och inget felmeddelande returneras. Lakeflow-pipelinen som håller tabellen synkroniserad behåller de taggar den skapades med. För att ändra attribuering, materialisera den till en ny tabell online. - Du kan ange högst 25 taggar.
- En taggnyckel kan vara upp till 127 tecken och ett taggvärde upp till 65 535 tecken. Ingen av dem kan vara tom.
- En taggnyckel kan inte börja med
databricks:. Det prefixet är reserverat, och kontrollen ignorerar kasus.
Övervaka användning och kostnader
Du kan övervaka kostnaderna för Feature Store med hjälp av systemtabellen för fakturerbar användning, system.billing.usage. Materialiseringsanvändning identifieras av billing_origin_product = 'FEATURE_STORE':
SELECT
usage_date,
usage_metadata.data_source,
usage_metadata.operation,
usage_metadata.job_id,
usage_metadata.dlt_pipeline_id,
identity_metadata.run_as,
sum(usage_quantity) AS dbus,
usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;
Använd usage_metadata.data_source och operation för att dela upp kostnaderna efter batch jämfört med strömning. Fälten usage_metadata.job_id och usage_metadata.dlt_pipeline_id identifierar det specifika materialiseringsjobbet eller pipelinen som producerade varje kostnadsrad, så att du kan gruppera efter dem för attribution per pipeline.
Kolumnen custom_tags innehåller de taggar du skickade med tillsammans med de taggar som följer med den serverlösa användningspolicyn, så att du kan gruppera eller filtrera efter custom_tags['<key>'] för att hänföra kostnader. Mer information om hur policytaggar når faktureringsposterna finns i Analysera policytaggar för serverless-användning i faktureringsposterna.
Kostnader för funktionsservering och onlinebutik spåras separat:
- Funktionsserverslutpunkter visas under modellserverns SKU. Se Övervaka kostnader för modellservering.
- Beräkningsresurser för onlinebutik visas under den serverlösa SKU:n för Lakebase (databas).
Mer information om tabellen för fakturerbar användning och hur du ställer frågor mot den finns i Referens för systemtabellen för fakturerbar användning.
Metodtips för kostnadsoptimering
- Gruppera funktioner i pipelines för delad materialisering: Funktioner som delar ett offlinemål, onlinemål och utlösare kan materialiseras tillsammans i en enda pipeline, vilket minskar antalet pipelines som du betalar för.
- Återanvända onlinebutiker: Du kan publicera flera funktionstabeller i en enda onlinebutik. För utveckling, testning och utbildning delar du en onlinebutik mellan projekt i stället för att skapa separata butiker.
- Rätt storlek på onlinebutikskapacitet: Börja med en liten kapacitetsenhet för att testa och skala upp eller ned baserat på prestanda och kostnad.
- Ta bort resurser som inte används: Onlinebutiker medför kontinuerligt kostnader. Ta bort onlinebutiker och materialiseringsflöden som inte längre behövs.
- Välj en lämplig materialiseringsutlösare: Mindre frekventa schemalagda utlösare kostar mindre än kontinuerlig eller frekvent ommaterialisering. Matcha utlösaren med hur fräscha dina funktioner måste vara.
Ytterligare resurser
- Prissättning för hanterade tjänster (funktionsmaterialisering)
- Prissättning för modellservering (slutpunkter för feature-serving)
- Lakebase-priser (onlinebutiker)
- Tabellreferens för fakturerbart användningssystem
- Kontakta ditt Azure Databricks kontoteam för vägledning om prognostisering av användning för dina arbetsbelastningar.