Verwaltung von Budgets für Unity Gateway

Budgets helfen Ihnen, die monatlichen Ausgaben für Unity Gateway mithilfe von Filtern zu überwachen und zu kontrollieren, die auf Abrechnungsdaten angewendet werden. Sie können ein Budget speziell für das Unity Gateway-Produkt festlegen, um nur die Ausgaben von Unity Gateway zu verfolgen, oder Unity Gateway in ein kontoweites Budget aufnehmen.

Konto- und Arbeitsbereichsadministratoren können auf der KI-Seite im Governance Hub eine Übersicht über den Status des KI-Budgets und die Ausgaben anzeigen.

Tip

Für Budgets, die auf Unity Gateway zugeschnitten sind, erfolgen Durchsetzung und Warnungen nahezu in Echtzeit. Wenn die Ausgaben eine Schwelle überschreiten, treten Nutzungsblockierungen und Benachrichtigungs-E-Mails innerhalb weniger Augenblicke in Kraft. Die Budgetüberwachung in nahezu Echtzeit ist unabhängig vom system.billing.usage Aktualisierungszeitpunkt.

Ausführliche Informationen zum Erstellen und Überwachen von Budgets finden Sie unter Erstellen und Überwachen von Budgets. Um festzulegen, wer ein Budget einsehen und verwalten kann, siehe Budgetberechtigungen verwalten.

Requirements

  • Unity Gateway für dein Konto aktiviert.

Was decken die Budgets für Unity Gateway ab?

Unity Gateway-Budgets decken die Ausgaben, die über Unity Gateway fließen:

Diese Budgets decken Folgendes nicht ab:

  • Bereitgestellter Durchsatz
  • Datenverkehr wird direkt an eigenständige Model Serving Endpoints gesendet, der nicht über Unity Gateway fließt

Wie Budgets mit Unity Gateway funktionieren

Bei der Erstellung eines Budgets wählen Sie Unity Gateway als Ressourcentyp, um nur die Ausgaben für Unity Gateway zu verfolgen.

Budgetkonfiguration

Schwellenwerttypen: Für Budgets, die auf Unity Gateway zugeschnitten sind, können Sie konfigurieren:

  • Gemeinsame Schwellenwerte: Ein gemeinsames Ausgabenlimit für alle Benutzer innerhalb des Budgetbereichs.
  • Schwellenwerte pro Benutzer: Ein monatliches Limit, das für jeden einzelnen Benutzer gilt.
  • Ausnahmen pro Benutzer: Gewähren Sie bestimmten Benutzern oder Gruppen ein höheres Ausgabenlimit als das standardmäßige Pro-Benutzer-Limit. Benutzer, die unter eine Ausnahmeregelung fallen, können bis zu dem in der Ausnahmeregelung festgelegten Betrag ausgeben, statt des standardmäßigen Limits pro Benutzer. Wenn ein Benutzer zu mehreren Override-Gruppen gehört, gilt der höchste Schwellenwert.

Für freigegebene und benutzerspezifische Schwellenwerte können Sie eine oder beide der folgenden Aktionen konfigurieren, wenn ein Schwellenwert erreicht wird:

  • Benachrichtigung senden: Sendet eine E-Mail-Benachrichtigung an konfigurierte Adressen. Benutzer behalten den Zugriff auf das Unity Gateway.
  • Nutzung blockieren: Verhindert, dass der Benutzer weitere Anfragen über das Unity Gateway stellt. Der Benutzer sieht eine Meldung, dass sein Budget erschöpft ist. Der Zugriff ist wieder möglich, nachdem das Budget zurückgesetzt wurde oder ein Administrator den Schwellenwert erhöht hat.

Kontoadministratoren können nahezu in Echtzeit die geschätzten Ausgaben auf der Budgetinformationsseite einsehen.

Kumulative Ausgabentabelle auf einer Unity Gateway Budget-Informationsseite

Externe Modellnutzung einbeziehen

Important

Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschauen " der Kontokonsole verwalten. Siehe Verwalten von Vorschauen auf Kontoebene.

Wenn Sie ein Unity-Gateway-Budget erstellen, wählen Sie "Externe Modellnutzung einbeziehen ", um geschätzte Ausgaben aus Anfragen zu berücksichtigen, die über Modellanbieterdienste an externe Modelle weitergeleitet werden.

Externe Modellnutzungsoption im Formular Budgeterstellen einfügen

Wenn aktiviert, zählen die externen Modellausgaben zu den geteilten und benutzerbezogenen Schwellenwerten des Budgets. Die konfigurierten Aktionen für Warnungen und Blockieren der Nutzung gelten, wenn die kombinierte Ausgabe einen Schwellenwert erreicht. Wenn Sie diese Option nicht wählen, schließt das Budget externe Modellausgaben aus, schließt aber weiterhin die Nutzung des von Azure Databricks gehosteten Modells ein.

Azure Databricks schätzt die Ausgaben des externen Modells anhand der Token-Nutzung und der veröffentlichten Preise des externen Anbieters. Diese Kostenvoranschläge können sich von Ihrer endgültigen Lieferantenrechnung unterscheiden. Für die historische Analyse der Ausgaben für externe Modelle fragen Sie die Systemtabelle system.ai_gateway.external_model_spend ab. Siehe externe Modelle. Die im Budget enthaltenen Ausgaben für externe Modelle berücksichtigen einen im Dienst des Modellanbieters konfigurierten Preismultiplikator.

Budget-Tag-Filter gelten für Modelldienst-Tags. Request-Tags sind in der Tabelle des externen Systems für Modellausgaben verfügbar, wirken sich jedoch nicht auf die Budgetzuordnung aus.

Limitations

Important

Budgets für Unity Gateway liefern eine nahezu Echtzeit-Schätzung der Ausgaben, die mit den konfigurierten Schwellenwerten erfasst werden, und die tatsächlichen Kosten können von den konfigurierten Schwellenwerten abweichen. Diese Funktion soll nahezu in Echtzeit bei der Kostenkontrolle helfen. Nutzen Sie diese Funktion nicht, um eine absolute Ausgabenobergrenze für die endgültig berechneten Beträge sicherzustellen. Azure Databricks ist nicht verantwortlich für Kosten, die über die konfigurierten Budgetschwellenwerte hinausgehen.

  • Der Rückschluss auf bereitgestellten Durchsatz wird derzeit nicht erfasst.

  • Jedes Budget unterstützt höchstens vier gemeinsame Schwellenwerte und 20 benutzerspezifische Überschreibungen.

  • Ihr Konto kann maximal 1.000 Budgets haben.

  • Die Grenzwerte für die Blocknutzung werden annähernd eingehalten. Die Durchsetzung verwendet eine nahezu Echtzeit-Kostenschätzung, sodass der tatsächliche Aufwand über oder unter dem konfigurierten Schwellenwert liegen kann. Dies bedeutet Folgendes:

    • Ein Nutzer kann gesperrt werden, bevor sein tatsächlicher Verbrauch die Schwelle erreicht.
    • Es kann vorkommen, dass Ausgaben den Schwellenwert überschreiten, bevor die Begrenzung greift. Aktive Anfragen, die laufen, wenn der Schwellenwert erreicht ist, werden nicht unterbrochen.

    system.billing.usage bleibt die maßgebliche Informationsquelle für die tatsächlich von Databricks abgerechnete Nutzung. Bei Abweichungen zwischen der im Haushalt erfassten Nutzung und den tatsächlichen Kosten kann Azure Databricks Budgetschätzungen rückwirkend anpassen, um diese abzugleichen. Für die Nutzung externer Modelle ist die externe Anbieterrechnung die Quelle der tatsächlichen Anbietergebühren.

  • Die Ausgabenbeträge in Budgetwarn-E-Mails, auf der Budgetdetailseite, system.billing.usage und system.ai_gateway.external_model_spend können voneinander abweichen, wenn sie zum selben Zeitpunkt verglichen werden. Dies wird erwartet, da jede Quellaktualisierung mit einer anderen Rate erfolgt:

    • E-Mails zu Budgetwarnungen: Zeigen die Ausgaben zum Zeitpunkt an, an dem die Warnung ausgelöst wurde.
    • Seite „Budgetdetails“: Wird häufig aktualisiert, kann jedoch kurz nach Erhalt einer aktuellen Warn-E-Mail einen niedrigeren Betrag anzeigen.
    • system.billing.usage: Aktualisiert alle paar Stunden. Das Abfragen von Systemtabellen kurz nach erhalt einer Warnung kann eine niedrigere Ausgabenzahl als die Budgetdetailseite oder Warnungs-E-Mails zurückgeben.
    • system.ai_gateway.external_model_spend: Aktualisiert stündlich mit geschätzten externen Modellausgaben. Die Kostenvoranschläge können von Ihrer endgültigen Lieferantenrechnung abweichen.

    Die Durchsetzung von Budgets, einschließlich Nutzungssperren und Warnschwellen, basiert auf einer Nachverfolgung der Ausgaben nahezu in Echtzeit und wird nicht durch den Zeitpunkt der Aktualisierung von Systemtabellen beeinflusst.

Weitere Ressourcen

  • Zuletzt aktualisiert um