Zarządzaj budżetami dla Unity Gateway

Budżety pomagają monitorować i kontrolować miesięczne wydatki na Unity Gateway, korzystając z filtrów stosowanych do rejestrów rozliczeniowych. Możesz zakresować budżet konkretnie do produktu Unity Gateway , aby śledzić tylko wydatki Unity Gateway, lub uwzględnić Unity Gateway w budżecie całego konta.

Administratorzy konta i obszaru roboczego mogą wyświetlić podsumowanie stanu budżetu AI i wydatków na stronie AI w Centrum zarządzania.

Tip

W przypadku budżetów obejmujących Unity Gateway wymuszanie limitów i alerty działają niemal w czasie rzeczywistym. Gdy wydatki przekroczą próg, blokada korzystania i powiadomienia e-mail zaczynają obowiązywać niemal natychmiast. Monitorowanie budżetu prawie w czasie rzeczywistym jest niezależne od czasu system.billing.usage odświeżania.

Aby uzyskać szczegółowe informacje na temat tworzenia i monitorowania budżetów, zobacz Tworzenie i monitorowanie budżetów. Aby określić, kto może przeglądać i zarządzać budżetem, zobacz Zarządzanie uprawnieniami budżetowymi.

Requirements

  • Usługa Unity Gateway została włączona dla Twojego konta.

Jakie budżety obejmują Unity Gateway?

Budżety Unity Gateway obejmują wydatki przepływające przez Unity Gateway:

Te budżety nie obejmują następujących obszarów:

  • Aprowizowana przepływność
  • Ruch wysyłany bezpośrednio do samodzielnych punktów końcowych Model Serving, który nie przechodzi przez Unity Gateway

Jak działają budżety z Unity Gateway

Podczas tworzenia budżetu wybierz Unity Gateway jako typ zasobu, aby śledzić tylko wydatki Unity Gateway.

Konfiguracja budżetu

Typy progów: Dla budżetów o zakresie Unity Gateway możesz skonfigurować:

  • Progi wspólne: Limit wydatków zbiorowych dla wszystkich użytkowników w ramach budżetu.
  • Progi na użytkownika: Miesięczny limit obowiązujący dla każdego użytkownika.
  • Wyjątki dla użytkownika: Przyznaj konkretnym użytkownikom lub grupom wyższy limit wydatków niż domyślny próg na użytkownika. Użytkownicy objęci wyjątkiem mogą wydać kwotę do wysokości określonej w wyjątku zamiast domyślnego limitu na użytkownika. Jeśli użytkownik należy do wielu grup zastępowania, zostanie zastosowany najwyższy próg.

Dla progów współdzielonych i na użytkownika można skonfigurować jedną lub więcej z następujących akcji po osiągnięciu progu:

  • Wyślij e-mail: Wysyła powiadomienie e-mail na skonfigurowane adresy. Użytkownicy zachowują dostęp do Unity Gateway.
  • Zablokowanie użycia: Uniemożliwia użytkownikowi wysyłanie dalszych żądań przez Unity Gateway. Użytkownik zobaczy komunikat informujący o wyczerpaniu budżetu. Dostęp zostanie przywrócony po zresetowaniu budżetu lub podwyższeniu progu przez administratora.
  • Trigger webhook (Beta): Wysyła dane JSON do jednego lub więcej miejsc docelowych webhooków na poziomie konta. Dla progów na użytkownika payload identyfikuje użytkownika, który osiągnął próg. Zobacz Wyzwalanie niestandardowych webhooków.

Administratorzy kont mogą zobaczyć niemal w czasie rzeczywistym szacowane wydatki na stronie szczegółów budżetu.

Wykres skumulowanych wydatków na stronie ze szczegółami budżetu Unity Gateway

Uwzględnij użycie zewnętrznego modelu

Ważna

Ta funkcja jest dostępna w wersji beta. Administratorzy kont mogą zarządzać dostępem do tej funkcji na stronie podglądów konsoli konta. Zobacz Zarządzanie podglądami na poziomie konta.

Gdy tworzysz budżet Unity Gateway, wybierz Include external model usage , aby uwzględnić szacowane wydatki z żądań kierowanych do zewnętrznych modeli przez usługi dostawców modeli.

Opcja Uwzględnij użycie modeli zewnętrznych w formularzu Tworzenie budżetu

Po włączeniu tej opcji wydatki związane z modelem zewnętrznym wliczają się do wspólnych progów budżetu oraz progów na użytkownika. Skonfigurowane działania alertów i blokowania użytkowania obowiązują, gdy łączne wydatki osiągną próg. Jeśli nie wybierzesz tej opcji, budżet wyklucza wydatki na zewnętrzne modele, ale nadal uwzględnia wykorzystanie modelu hostowanego w Azure Databricks.

Azure Databricks szacuje wydatki na modele zewnętrzne na podstawie zużycia tokenów oraz opublikowanych cen zewnętrznego dostawcy. Te wyceny mogą różnić się od ostatecznej faktury firmy. Aby przeprowadzić analizę historyczną wydatków dotyczących modeli zewnętrznych, wykonaj zapytanie do tabeli systemowej system.ai_gateway.external_model_spend. Zobacz Modele zewnętrzne. Wydatki na zewnętrzne modele uwzględnione w budżecie odzwierciedlają każdy mnożnik cen skonfigurowany na usłudze dostawcy modeli.

Filtry tagów budżetowych dotyczą modelowych tagów usługowych. Tagi żądań są dostępne w zewnętrznej tabeli systemu wydatków modelu, ale nie wpływają na dopasowywanie budżetu.

Ograniczenia

Ważna

Budżety dla Unity Gateway zapewniają niemal aktualne oszacowanie wydatków monitorowanych względem skonfigurowanych progów, a rzeczywiście poniesione koszty mogą odbiegać od tych progów. Ta funkcja ma na celu pomoc w niemal rzeczywistym kontrolowaniu kosztów. Nie używaj tej funkcji jako sposobu na zapewnienie absolutnego limitu wydatków na ostateczne rozliczone kwoty. Azure Databricks nie ponosi odpowiedzialności za koszty poniesione powyżej skonfigurowanych progów budżetowych.

  • Wnioskowanie z aprowizowaną przepustowością nie jest obecnie monitorowane.

  • Żądania funkcji AI specyficznych dla zadań są liczone do budżetów Unity Gateway, ale nie są rejestrowane w tabeli system.ai_gateway.usage. Aby zobaczyć rozliczone zużycie, wykonaj zapytanie system.billing.usage. Zobacz Wyświetl koszty obciążeń funkcji AI.

  • Każdy budżet obsługuje maksymalnie cztery wspólne progi i 100 nadpisań dla poszczególnych użytkowników.

  • Twoje konto może mieć maksymalnie 1000 budżetów.

  • Progi użycia bloków są stosowane w przybliżeniu. Mechanizm egzekwowania opiera się na szacunku kosztów niemal w czasie rzeczywistym, więc rzeczywiste koszty mogą być wyższe lub niższe od skonfigurowanego progu. Oznacza to, że:

    • Użytkownik może zostać zablokowany, zanim jego rzeczywiste wydatki osiągną próg.
    • Zanim zacznie obowiązywać egzekwowanie limitu, wydatki mogą przekroczyć próg. Aktywne żądania będące w toku w chwili osiągnięcia progu nie są przerywane.

    system.billing.usage pozostaje źródłem prawdy dla rzeczywistego wykorzystania rozliczonego przez Databricks. W przypadku rozbieżności między śledzeniem zużycia względem budżetu a rzeczywistymi kosztami, Azure Databricks może retroaktywnie korygować szacunki budżetowe, aby je pogodzić. W przypadku użycia modelu zewnętrznego, faktura zewnętrznego dostawcy jest źródłem prawdy dla rzeczywistych opłat od dostawcy.

  • Kwoty wydatków w e-mailach z alertami budżetowymi, na stronie szczegółów budżetu, system.billing.usage i system.ai_gateway.external_model_spend mogą się różnić, jeśli porówna się je w tym samym momencie. Jest to oczekiwane, ponieważ każda aktualizacja źródła ma inną częstotliwość:

    • E-maile z alertami budżetowymi: Odzwierciedlają wydatki w momencie uruchomienia alertu.
    • Strona ze szczegółami budżetu: Aktualizacje są częste, ale mogą pokazywać niższą kwotę niż ostatni alert e-mail, jeśli strona zostanie wyświetlona wkrótce po jego otrzymaniu.
    • system.billing.usage: Aktualizuje się co kilka godzin. Wykonywanie zapytań dotyczących tabel systemowych wkrótce po otrzymaniu alertu może zwrócić niższą liczbę wydatków niż strona szczegółów budżetu lub wiadomości e-mail z alertami.
    • system.ai_gateway.external_model_spend: Aktualizuje się co godzinę z szacowanym wydatkiem na zewnętrzne modele. Kosztorysy mogą różnić się od ostatecznej faktury firmy.

    Egzekwowanie budżetu, w tym blokowanie wykorzystania i progi alertów, opiera się na śledzeniu wydatków niemal w czasie rzeczywistym i nie zależy od czasu odświeżania tabel systemowych.

Dodatkowe źródła

  • Ostatnia aktualizacja o