Budgetten beheren voor Unity AI Gateway

Budgetten helpen u bij het bewaken en beheren van maandelijkse Unity AI Gateway-uitgaven met behulp van filters die zijn toegepast op factureringsrecords. U kunt een budget specifiek instellen voor het Unity AI Gateway-product om alleen de uitgaven van Unity AI Gateway bij te houden of Unity AI Gateway op te nemen in een budget voor het hele account.

Account- en werkruimtebeheerders kunnen een overzicht bekijken van de ai-budgetstatus en uitgaven op de AI-pagina in Governance Hub.

Note

Unity AI Gateway-budgetten houden ook het productgebruik van Genie bij. Zie Budgetten en kostencontroles beheren voor Genie als u budgetten voor Genie specifiek wilt instellen.

Zie Budgetten maken en bewaken voor meer informatie over het maken en bewaken van budgetten.

Requirements

  • Unity AI Gateway ingeschakeld voor uw account.

Hoe budgetten werken met Unity AI Gateway

Selecteer bij het opstellen van een budget Unity AI Gateway als het resourcetype om alleen de uitgaven van Unity AI Gateway bij te houden, inclusief pay-per-token, ai_query inferentie en optioneel gebruik van externe modellen.

Budgetinstellingen

Drempelwaarden: Voor budgetten die zijn gericht op Unity AI Gateway, kunt u het volgende configureren:

  • Gedeelde drempelwaarden: een collectieve bestedingslimiet voor alle gebruikers binnen het budgetbereik.
  • Drempelwaarden per gebruiker: een maandelijkse limiet die van toepassing is op elke afzonderlijke gebruiker.
  • Uitzonderingen per gebruiker: Verleen specifieke gebruikers of groepen een hogere bestedingslimiet dan de standaardlimiet per gebruiker. Gebruikers die onder een uitzondering vallen, kunnen maximaal het uitzonderingsbedrag uitgeven in plaats van de standaardlimiet per gebruiker. Als een gebruiker tot meerdere overrulegroepen behoort, is de hoogste drempelwaarde van toepassing.

Voor gedeelde en per gebruiker drempelwaarden kunt u een of beide van de volgende acties configureren wanneer een drempelwaarde wordt bereikt:

  • Waarschuwing verzenden: hiermee wordt een e-mailmelding verzonden naar geconfigureerde adressen. Gebruikers behouden toegang tot Unity AI Gateway.
  • Gebruik blokkeren: hiermee voorkomt u dat de gebruiker verdere aanvragen kan indienen via Unity AI Gateway. De gebruiker ziet een bericht dat het budget is uitgeput. Access wordt hervat nadat het budget opnieuw is ingesteld of een beheerder de drempelwaarde verhoogt.

Accountbeheerders kunnen bijna realtime de schatting van uitgaven bekijken op de budgetdetailspagina.

Grafiek van cumulatieve uitgaven op een pagina met budgetdetails van Unity AI Gateway

Extern modelgebruik opnemen

Important

Deze functie bevindt zich in de bètaversie. Om het te gebruiken, moet een werkruimtebeheerder External Model Spend in Budgets inschakelen op de Previews-pagina. Zie Azure Databricks previews beheren.

Wanneer je een Unity AI Gateway-budget aanmaakt, selecteer Extern modelgebruik opnemen om geschatte uitgaven op te nemen van verzoeken die via services voor modelproviders naar externe modellen worden geleid.

Voeg de optie voor extern modelgebruik op in het Budgetaanmaakformulier

Wanneer ingeschakeld, telt de uitgaven van externe modellen mee voor de gedeelde en per gebruiker drempels van het budget. De geconfigureerde alert- en block-gebruiksacties gelden wanneer de gecombineerde uitgaven een drempel bereiken. Als je deze optie niet kiest, sluit het budget externe modeluitgaven uit, maar blijft het gebruik van Azure Databricks-gehoste modellen meenemen.

Azure Databricks schat de uitgaven van externe modellen op basis van tokengebruik en de door de externe aanbieder gepubliceerde prijzen. Deze offertes kunnen verschillen van uw uiteindelijke factuur voor de leverancier. Voor historische analyse van externe modeluitgaven, raadpleeg de system.ai_gateway.external_model_spend systeemtabel. Zie Externe modellen.

Budgettagfilters zijn van toepassing op modelservicetags. Verzoektags zijn beschikbaar in de externe modeluitgavensysteem-tabel, maar beïnvloeden de budgetmatching niet.

Limitations

Important

De budgetten voor Unity AI Gateway geven een bijna realtime schatting van de uitgaven die worden bijgehouden ten opzichte van de geconfigureerde drempels, en de werkelijke kosten kunnen afwijken van de geconfigureerde drempels. Deze functie is bedoeld om te helpen bij bijna realtime kostenbeheersing. Gebruik deze functie niet om een absolute uitgavenlimiet te garanderen op de uiteindelijk gefactureerde bedragen. Azure Databricks is niet verantwoordelijk voor kosten die hoger zijn dan de geconfigureerde budgetdrempels.

  • Provisioned throughput-inferentie wordt momenteel niet bijgehouden.

  • Elk budget ondersteunt maximaal vier gedeelde drempelwaarden en 20 overschrijvingen per gebruiker.

  • Uw account kan maximaal 1000 budgetten hebben.

  • Drempelwaarden voor blokgebruik worden bij benadering toegepast. Handhaving gebruikt een kostenraming in bijna realtime, waardoor de daadwerkelijke uitgaven boven of onder de geconfigureerde drempel kunnen liggen. Dit betekent:

    • Een gebruiker kan worden geblokkeerd voordat zijn daadwerkelijke uitgaven de drempel bereiken.
    • Het kan gebeuren dat de uitgaven de drempel overschrijden voordat de limiet wordt gehandhaafd. Actieve verzoeken die lopen wanneer de drempel wordt bereikt, worden niet onderbroken.

    system.billing.usage blijft de bron van waarheid voor het daadwerkelijke gebruik van Databricks-facturaties. Voor afwijkingen tussen het gebruik dat wordt bijgehouden ten opzichte van een budget en de werkelijke kosten, kan Azure Databricks budgetramingen met terugwerkende kracht aanpassen om deze te vergelijken. Voor gebruik van externe modellen is de externe leveranciersfactuur de bron van waarheid voor de daadwerkelijke dienstverlenerkosten.

  • Uitgavenbedragen in e-mails met budgetwaarschuwingen, op de pagina met budgetdetails, system.billing.usage en system.ai_gateway.external_model_spend kunnen verschillen wanneer deze op hetzelfde tijdstip worden vergeleken. Dit is te verwachten, omdat elke bron in een ander tempo wordt bijgewerkt:

    • E-mailberichten met budgetwaarschuwingen: Geef de uitgaven weer op het moment dat de waarschuwing werd geactiveerd.
    • Pagina Met budgetgegevens: Updates worden vaak bijgewerkt, maar kunnen een lager bedrag weergeven dan een recente waarschuwings-e-mail wanneer deze kort daarna wordt weergegeven.
    • system.billing.usage: Elke paar uur wordt bijgewerkt. Het opvragen van systeemtabellen kort nadat u een waarschuwing hebt ontvangen, kan een lager uitgavencijfer retourneren dan de pagina met budgetgegevens of e-mailberichten met waarschuwingen.
    • system.ai_gateway.external_model_spend: Wordt elk uur bijgewerkt met de geraamde uitgaven van het externe model. De offertes kunnen verschillen van je uiteindelijke factuur voor de leverancier.

    Het afdwingen van budgetten, waaronder het blokkeren van gebruik en drempelwaarden voor waarschuwingen, is gebaseerd op het bijhouden van bijna realtime uitgaven en wordt niet beïnvloed door de tijdsinstellingen voor het vernieuwen van systeemtabellen.

Aanvullende informatiebronnen

  • Last updated on