Hantera budgetar för Unity Gateway

Budgetar hjälper dig att övervaka och kontrollera månatliga Unity Gateway-utgifter med filter som appliceras på faktureringsposter. Du kan avsätta en budget specifikt för Unity Gateway-produkten för att bara följa Unity Gateway-utgifter, eller inkludera Unity Gateway i en kontoövergripande budget.

Konto- och arbetsyteadministratörer kan visa en sammanfattning av AI-budgetstatus och utgifter på AI-sidan i Styrningshubben.

Mer information om hur du skapar och övervakar budgetar finns i Skapa och övervaka budgetar.

Requirements

• Unity Gateway aktiverat för ditt konto.

Hur budgetar fungerar med Unity Gateway

När du skapar en budget, välj Unity Gateway som resurstyp för att endast spåra Unity Gateway-utgifter, inklusive pay-per-token, ai_query inferenser och valfri extern modellanvändning.

Tröskeltyper: För budgetar begränsade till Unity Gateway kan du konfigurera:

• Delade tröskelvärden: En kollektiv utgiftsgräns för alla användare inom budgetomfånget.
• Tröskelvärden per användare: En månatlig gräns som gäller för varje enskild användare.
• Åsidosättningar per användare: Bevilja specifika användare eller grupper en högre utgiftsgräns än standardtröskelvärdet per användare. Användare som omfattas av en åsidosättning kan spendera upp till åsidosättningsbeloppet i stället för standardgränsen per användare. Om en användare tillhör flera åsidosättningsgrupper gäller det högsta tröskelvärdet.

För delade tröskelvärden och tröskelvärden per användare kan du konfigurera en eller båda av följande åtgärder när ett tröskelvärde nås:

• Skicka avisering: Skickar ett e-postmeddelande till konfigurerade adresser. Användare behåller tillgången till Unity Gateway.
• Blockera användning: Förhindrar användaren från att göra fler förfrågningar via Unity Gateway. Användaren ser ett meddelande om att deras budget är slut. Åtkomsten återupptas när budgeten har återställts eller en administratör ökar tröskelvärdet.

Kontoadministratörer kan se nästan realtids uppskattade utgifter på sidan för budgetdetaljer.

Inkludera extern modellanvändning

När du skapar en Unity Gateway-budget, välj Inkludera extern modellanvändning för att inkludera uppskattade utgifter från förfrågningar som dirigeras till externa modeller via modellleverantörstjänster.

När detta är aktiverat inräknas kostnader för externa modeller i budgetens delade gränser och gränser per användare. De konfigurerade alert- och blockanvändningsåtgärderna gäller när den sammanlagda kostnaden når en tröskel. Om du inte väljer detta alternativ exkluderar budgeten externa modellkostnader men fortsätter att inkludera användning av Azure Databricks-hostade modeller.

Azure Databricks uppskattar utgifterna för externa modeller utifrån tokenanvändning och den externa leverantörens publicerade priser. Dessa uppskattningar kan skilja sig från din slutliga leverantörsfaktura. För historisk analys av externa modellutgifter, sök i system.ai_gateway.external_model_spend systemtabellen. Se Externa modeller.

Filter för budgettaggar tillämpas på taggar för modelltjänster. Begärandetaggar finns tillgängliga i systemtabellen för externa modellutgifter, men påverkar inte budgetmatchningen.

Limitations

• Provisionerad genomströmningsinferens spåras för närvarande inte.

• Varje budget stöder högst fyra delade tröskelvärden och 20 åsidosättningar per användare.

• Ditt konto kan ha högst 1 000 budgetar.

• Tröskelvärden för blockanvändning tillämpas ungefär. Tillsyn använder en nästan realtidsuppskattning av kostnaden, så den faktiska kostnaden kan variera över eller under den konfigurerade tröskeln. Detta innebär att:

  • En användare kan blockeras innan deras faktiska utgifter når tröskeln.
  • En mängd utgifter över tröskeln kan inträffa innan verkställigheten träder i kraft. Aktiva förfrågningar som pågår när tröskeln nås avbryts inte.

  system.billing.usage förblir den främsta källan för faktisk användning som faktureras av Databricks. Vid avvikelser mellan användning som spåras mot en budget och faktiska kostnader kan Azure Databricks retroaktivt justera budgetuppskattningar för att stämma av dem. För extern modellanvändning är fakturan för extern leverantör sanningskällan för faktiska leverantörsavgifter.

• Utgiftsbelopp i e-postmeddelanden om budgetaviseringar, på sidan med budgetinformation, system.billing.usage och system.ai_gateway.external_model_spend kan skilja sig åt även om de jämförs vid samma tidpunkt. Detta är förväntat eftersom varje källa uppdateras i olika takt:

  • E-postmeddelanden om budgetaviseringar: Återspegla utgifter när aviseringen utlöstes.
  • Sidan Budgetinformation: Uppdateras ofta men kan visa en lägre mängd än ett nytt e-postmeddelande om aviseringar när det visas kort därefter.
  • system.billing.usage: Uppdateras med några timmars mellanrum. Att köra frågor mot systemtabeller kort efter att en avisering har tagits emot kan returnera en lägre utgiftssiffra än sidan med budgetinformation eller aviseringsmeddelanden.
  • system.ai_gateway.external_model_spend: Uppdateras varje timme med uppskattade externa modellutgifter. Offerterna kan skilja sig från din slutliga leverantörsfaktura.

  Budgetframtvingande, inklusive användningsblockering och aviseringströsklar, baseras på spårning av utgifter i nära realtid och påverkas inte av tidpunkten för systemtabelluppdatering.

Ytterligare resurser

• Analysera kostnaden för Unity Gateway
• Skapa och hantera modell-API:er (modelltjänster)
• Skapa och övervaka budgetar
• Hantera budgetar och kostnadskontroller för Genie