Zarządzaj budżetami dla Unity Gateway

Budżety pomagają monitorować i kontrolować miesięczne wydatki na Unity Gateway, korzystając z filtrów stosowanych do rejestrów rozliczeniowych. Możesz zakresować budżet konkretnie do produktu Unity Gateway , aby śledzić tylko wydatki Unity Gateway, lub uwzględnić Unity Gateway w budżecie całego konta.

Administratorzy konta i obszaru roboczego mogą wyświetlić podsumowanie stanu budżetu AI i wydatków na stronie AI w Centrum zarządzania.

Aby uzyskać szczegółowe informacje na temat tworzenia i monitorowania budżetów, zobacz Tworzenie i monitorowanie budżetów.

Requirements

• Usługa Unity Gateway została włączona dla Twojego konta.

Jakie budżety obejmują Unity Gateway?

Budżety Unity Gateway obejmują wydatki przepływające przez Unity Gateway:

• Użycie pay-per-token
• ai_query
• Genie. Zobacz Zarządzanie budżetami i mechanizmami kontroli kosztów dla usługi Genie.
• (Opcjonalnie) Zewnętrzni dostawcy modeli (usługi dostawcy modeli).

Te budżety nie obejmują następujących obszarów:

• Aprowizowana przepływność
• Ruch wysyłany bezpośrednio do samodzielnych punktów końcowych Model Serving, który nie przechodzi przez Unity Gateway

Jak działają budżety z Unity Gateway

Podczas tworzenia budżetu wybierz Unity Gateway jako typ zasobu, aby śledzić tylko wydatki Unity Gateway.

Typy progów: Dla budżetów dostosowanych do Unity Gateway możesz skonfigurować:

• Wspólne progi: zbiorczy limit wydatków dla wszystkich użytkowników w zakresie budżetu.
• Progi poszczególnych użytkowników: miesięczny limit, który ma zastosowanie do poszczególnych użytkowników.
• Nadpisania dla poszczególnych użytkowników: Przyznaj określonym użytkownikom lub grupom wyższy limit wydatków niż domyślny limit na użytkownika. Użytkownicy objęci wyjątkiem mogą wydać kwotę do wysokości określonej w wyjątku zamiast domyślnego limitu na użytkownika. Jeśli użytkownik należy do wielu grup zastępowania, zostanie zastosowany najwyższy próg.

W przypadku progów współużytkowanych i dla poszczególnych użytkowników można skonfigurować jedną lub obie z następujących akcji po osiągnięciu progu:

• Wyślij alert: wysyła powiadomienie e-mail do skonfigurowanych adresów. Użytkownicy zachowują dostęp do Unity Gateway.
• Użycie bloku: Uniemożliwia użytkownikowi dalsze żądania przez Unity Gateway. Użytkownik zobaczy komunikat informujący o wyczerpaniu budżetu. Dostęp zostanie przywrócony po zresetowaniu budżetu lub podwyższeniu progu przez administratora.

Administratorzy kont mogą zobaczyć niemal w czasie rzeczywistym szacowane wydatki na stronie szczegółów budżetu.

Uwzględnij użycie zewnętrznego modelu

Gdy tworzysz budżet Unity Gateway, wybierz Include external model usage , aby uwzględnić szacowane wydatki z żądań kierowanych do zewnętrznych modeli przez usługi dostawców modeli.

Po włączeniu tej opcji wydatki związane z modelem zewnętrznym wliczają się do wspólnych progów budżetu oraz progów na użytkownika. Skonfigurowane działania alertów i blokowania użytkowania obowiązują, gdy łączne wydatki osiągną próg. Jeśli nie wybierzesz tej opcji, budżet wyklucza wydatki na zewnętrzne modele, ale nadal uwzględnia wykorzystanie modelu hostowanego w Azure Databricks.

Azure Databricks szacuje wydatki na modele zewnętrzne na podstawie zużycia tokenów oraz opublikowanych cen zewnętrznego dostawcy. Te wyceny mogą różnić się od ostatecznej faktury firmy. Aby przeprowadzić analizę historyczną wydatków dotyczących modeli zewnętrznych, wykonaj zapytanie do tabeli systemowej system.ai_gateway.external_model_spend. Zobacz Modele zewnętrzne. Wydatki na zewnętrzne modele uwzględnione w budżecie odzwierciedlają każdy mnożnik cen skonfigurowany na usłudze dostawcy modeli.

Filtry tagów budżetowych dotyczą modelowych tagów usługowych. Tagi żądań są dostępne w zewnętrznej tabeli systemu wydatków modelu, ale nie wpływają na dopasowywanie budżetu.

Ograniczenia

• Wnioskowanie z aprowizowaną przepustowością nie jest obecnie monitorowane.

• Każdy budżet może mieć maksymalnie cztery wspólne progi i 20 wyjątków na użytkownika.

• Twoje konto może mieć maksymalnie 1000 budżetów.

• Progi użycia bloków są stosowane w przybliżeniu. Mechanizm egzekwowania opiera się na szacunku kosztów niemal w czasie rzeczywistym, więc rzeczywiste koszty mogą być wyższe lub niższe od skonfigurowanego progu. Oznacza to, że:

  • Użytkownik może zostać zablokowany, zanim jego rzeczywiste wydatki osiągną próg.
  • Zanim zacznie obowiązywać egzekwowanie limitu, wydatki mogą przekroczyć próg. Aktywne żądania będące w toku w chwili osiągnięcia progu nie są przerywane.

  system.billing.usage pozostaje ostatecznym źródłem informacji o rzeczywistym użyciu rozliczanym przez Databricks. W przypadku rozbieżności między śledzeniem zużycia względem budżetu a rzeczywistymi kosztami, Azure Databricks może retroaktywnie korygować szacunki budżetowe, aby je pogodzić. W przypadku użycia modelu zewnętrznego, faktura zewnętrznego dostawcy jest źródłem prawdy dla rzeczywistych opłat od dostawcy.

• Kwoty wydatków w e-mailach z alertami budżetowymi, na stronie szczegółów budżetu, system.billing.usage i system.ai_gateway.external_model_spend mogą się różnić, jeśli porówna się je w tym samym momencie. Jest to oczekiwane, ponieważ każda aktualizacja źródła ma inną częstotliwość:

  • Wiadomości e-mail z alertami budżetowymi: pokazują koszty z chwili wyzwolenia alertu.
  • Strona szczegółów budżetu: Jest często aktualizowana, ale wkrótce po otrzymaniu ostatniej wiadomości e-mail z alertem może wyświetlać kwotę niższą niż podana w tej wiadomości.
  • system.billing.usage: aktualizacje co kilka godzin. Wykonywanie zapytań dotyczących tabel systemowych wkrótce po otrzymaniu alertu może zwrócić niższą liczbę wydatków niż strona szczegółów budżetu lub wiadomości e-mail z alertami.
  • system.ai_gateway.external_model_spend: Aktualizowane co godzinę o szacowane koszty korzystania z modeli zewnętrznych. Kosztorysy mogą różnić się od ostatecznej faktury firmy.

  Egzekwowanie budżetu, w tym blokowanie wykorzystania i progi alertów, opiera się na śledzeniu wydatków niemal w czasie rzeczywistym i nie zależy od czasu odświeżania tabel systemowych.

Dodatkowe zasoby

• Analiza kosztów Unity Gateway
• Tworzenie i zarządzanie modelowymi API (usługi modelowe)
• Tworzenie i monitorowanie budżetów
• Zarządzanie budżetami i mechanizmami kontroli kosztów dla usługi Genie