Verwalten von Budgets für Unity AI Gateway

Budgets helfen Ihnen, die monatlichen Unity AI Gateway-Ausgaben mithilfe von Filtern zu überwachen und zu steuern, die auf Abrechnungsdatensätze angewendet werden. Sie können ein Budget speziell auf das Unity AI Gateway-Produkt festlegen, um nur Die Ausgaben für Unity AI Gateway nachzuverfolgen oder Unity AI Gateway in ein kontoweites Budget einzuschließen.

Konto- und Arbeitsbereichsadministratoren können auf der KI-Seite im Governance Hub eine Übersicht über den Status des KI-Budgets und die Ausgaben anzeigen.

Ausführliche Informationen zum Erstellen und Überwachen von Budgets finden Sie unter Erstellen und Überwachen von Budgets.

Requirements

• Unity AI Gateway für Ihr Konto aktiviert.

Funktionsweise von Budgets mit Unity AI Gateway

Beim Erstellen eines Budgets wählen Sie Unity AI Gateway als Ressourcentyp aus, um nur die Ausgaben für Unity AI Gateway zu verfolgen, einschließlich Pay-per-Token, ai_query-Inferenz und der optionalen Nutzung externer Modelle.

Schwellenwerttypen: Für Budgets, die auf unity AI Gateway festgelegt sind, können Sie Folgendes konfigurieren:

• Gemeinsame Schwellenwerte: Ein gemeinsames Ausgabenlimit für alle Benutzer innerhalb des Budgetbereichs.
• Schwellenwerte pro Benutzer: Ein monatliches Limit, das für jeden einzelnen Benutzer gilt.
• Ausnahmen pro Benutzer: Gewähren Sie bestimmten Benutzern oder Gruppen ein höheres Ausgabenlimit als das standardmäßige Pro-Benutzer-Limit. Benutzer, die unter eine Ausnahmeregelung fallen, können bis zu dem in der Ausnahmeregelung festgelegten Betrag ausgeben, statt des standardmäßigen Limits pro Benutzer. Wenn ein Benutzer zu mehreren Override-Gruppen gehört, gilt der höchste Schwellenwert.

Für freigegebene und benutzerspezifische Schwellenwerte können Sie eine oder beide der folgenden Aktionen konfigurieren, wenn ein Schwellenwert erreicht wird:

• Benachrichtigung senden: Sendet eine E-Mail-Benachrichtigung an konfigurierte Adressen. Benutzer behalten den Zugriff auf das Unity AI-Gateway bei.
• Nutzung blockieren: Verhindert, dass der Benutzer weitere Anforderungen über unity AI Gateway stellt. Der Benutzer sieht eine Meldung, dass sein Budget erschöpft ist. Der Zugriff ist wieder möglich, nachdem das Budget zurückgesetzt wurde oder ein Administrator den Schwellenwert erhöht hat.

Kontoadministratoren können nahezu in Echtzeit die geschätzten Ausgaben auf der Budgetinformationsseite einsehen.

Externe Modellnutzung einbeziehen

Wenn Sie ein Unity AI Gateway-Budget erstellen, wählen Sie "Externe Modellnutzung einbeziehen ", um geschätzte Ausgaben aus Anfragen zu berücksichtigen, die an externe Modelle über Modellanbieterdienste weitergeleitet werden.

Wenn aktiviert, zählen die externen Modellausgaben zu den geteilten und benutzerbezogenen Schwellenwerten des Budgets. Die konfigurierten Aktionen für Warnungen und Blockieren der Nutzung gelten, wenn die kombinierte Ausgabe einen Schwellenwert erreicht. Wenn Sie diese Option nicht wählen, schließt das Budget externe Modellausgaben aus, schließt aber weiterhin die Nutzung des von Azure Databricks gehosteten Modells ein.

Azure Databricks schätzt die Ausgaben des externen Modells anhand der Token-Nutzung und der veröffentlichten Preise des externen Anbieters. Diese Kostenvoranschläge können sich von Ihrer endgültigen Lieferantenrechnung unterscheiden. Für die historische Analyse der Ausgaben für externe Modelle fragen Sie die Systemtabelle system.ai_gateway.external_model_spend ab. Siehe externe Modelle.

Budget-Tag-Filter gelten für Modell-Service-Tags. Request-Tags sind in der Tabelle des externen Systems für Modellausgaben verfügbar, wirken sich jedoch nicht auf die Budgetzuordnung aus.

Limitations

• Die bereitgestellte Durchsatzinferenz wird derzeit nicht erfasst.

• Jedes Budget unterstützt höchstens vier gemeinsame Schwellenwerte und 20 benutzerspezifische Überschreibungen.

• Ihr Konto kann maximal 1.000 Budgets haben.

• Die Grenzwerte für die Blocknutzung werden annähernd eingehalten. Die Durchsetzung verwendet eine nahezu Echtzeit-Kostenschätzung, sodass der tatsächliche Aufwand über oder unter dem konfigurierten Schwellenwert liegen kann. Dies bedeutet Folgendes:

  • Ein Nutzer kann gesperrt werden, bevor sein tatsächlicher Verbrauch die Schwelle erreicht.
  • Es kann vorkommen, dass Ausgaben den Schwellenwert überschreiten, bevor die Begrenzung greift. Aktive Anfragen, die laufen, wenn der Schwellenwert erreicht ist, werden nicht unterbrochen.

  system.billing.usage bleibt die maßgebliche Quelle für die tatsächlich von Databricks abgerechnete Nutzung. Bei Abweichungen zwischen der im Haushalt erfassten Nutzung und den tatsächlichen Kosten kann Azure Databricks Budgetschätzungen rückwirkend anpassen, um diese abzugleichen. Für die Nutzung externer Modelle ist die externe Anbieterrechnung die Quelle der tatsächlichen Anbietergebühren.

• Die Ausgabenbeträge in Budgetwarn-E-Mails, auf der Budgetdetailseite, system.billing.usage und system.ai_gateway.external_model_spend können voneinander abweichen, wenn sie zum selben Zeitpunkt verglichen werden. Dies wird erwartet, da jede Quellaktualisierung mit einer anderen Rate erfolgt:

  • E-Mails zu Budgetwarnungen: Zeigen die Ausgaben zum Zeitpunkt an, an dem die Warnung ausgelöst wurde.
  • Seite „Budgetdetails“: Wird häufig aktualisiert, kann jedoch kurz nach Erhalt einer aktuellen Warn-E-Mail einen niedrigeren Betrag anzeigen.
  • system.billing.usage: Aktualisiert alle paar Stunden. Das Abfragen von Systemtabellen kurz nach erhalt einer Warnung kann eine niedrigere Ausgabenzahl als die Budgetdetailseite oder Warnungs-E-Mails zurückgeben.
  • system.ai_gateway.external_model_spend: Aktualisiert stündlich mit geschätzten externen Modellausgaben. Die Kostenvoranschläge können von Ihrer endgültigen Lieferantenrechnung abweichen.

  Die Durchsetzung von Budgets, einschließlich Nutzungssperren und Warnschwellen, basiert auf einer Nachverfolgung der Ausgaben nahezu in Echtzeit und wird nicht durch den Zeitpunkt der Aktualisierung von Systemtabellen beeinflusst.

Weitere Ressourcen

• Analysieren Sie die Kosten des Unity AI Gateway
• Erstellen und verwalten Sie Modell-APIs (Modelldienste)
• Budgets erstellen und überwachen
• Verwalten von Budgets und Kostenkontrollen für Genie