Typy wdrożeń dla modeli Microsoft Foundry

Podczas wdrażania modelu w usłudze Microsoft Foundry należy wybrać typ wdrożenia, który określa:

• Gdzie dane są przetwarzane (lokalizacja geograficzna, strefa danych lub lokalizacja geograficzna Azure)
• Jak płacisz (płatność za token lub pojemność zarezerwowaną)
• Charakterystyka wydajności (wariancja opóźnienia, limity przepływności)

Te typy wdrożeń mają zastosowanie do opcji wdrażania bezserwerowego interfejsu API . Modele typu open source i niestandardowe korzystające z zarządzanych zasobów obliczeniowych nie korzystają z tych typów. Aby dowiedzieć się, jak różnią się opcje, zobacz Omówienie wdrażania dla modeli Microsoft Foundry.

Usługa oferuje trzy główne kategorie: standardowe (płatność za token), aprowizowane (pojemność zarezerwowana) i wsadowe (z rabatem na przetwarzanie asynchroniczne). Typ dewelopera jest również dostępny do precyzyjnej oceny modelu. W ramach standardowych i aprowizowanych kategorii można wybrać przetwarzanie globalne, strefę danych lub lokalizację geograficzną na podstawie wymagań dotyczących zgodności.

Zacznij od Global Standard

W przypadku większości obciążeń zacznij od warstwy Global Standard. Uruchamia się najpierw, gdy nowe wersje modelu mają najniższą cenę i oferują najszerszy zakres regionów. Przejdź do innego typu wdrożenia tylko wtedy, gdy masz konkretną przyczynę, taką jak miejsce przechowywania danych, zarezerwowana przepływność lub asynchroniczne przetwarzanie wsadowe.

Nowe typy wdrożeń stają się dostępne w określonej kolejności: Globalne, a następnie Strefa danych, a następnie lokalizacja geograficzna. Typy wdrożeń oparte na regionie geograficznym są udostępniane jako ostatnie, nie mają gwarantowanej daty dostępności i zależą od dostępnych zasobów, które stają się dostępne w miarę wycofywania starszych modeli. Aby uzyskać autorytatywną kolejność uruchamiania, zobacz Uruchamianie i dostępność modelu.

Porównanie typów wdrożeń

Modele natychmiastowe umożliwiają wykonywanie wnioskowania bez tworzenia wdrożenia, więc nie są typami wdrożeń. Aby natychmiast wypróbować model, zobacz Błyskawiczny dostęp do modeli.

Gwarancje umowy SLA różnią się w zależności od typu wdrożenia. Zapewniane typy zapewniają gwarantowaną przepływność i niższą wariancję opóźnień. Typy standardowe oferują najlepszą usługę. Wdrożenia deweloperów nie obejmują SLA. Aby uzyskać szczegółowe informacje, zobacz umowę SLA Azure dla Azure OpenAI Service.

Wybieranie odpowiedniego typu wdrożenia

Skorzystaj z poniższej tabeli, aby uzyskać szybką rekomendację, a następnie uściślij ją przy użyciu następujących kryteriów.

Wymóg dotyczący lokalizacji danych

• Brak ograniczeń: Użyj Globalnego Standardu lub Globalnie Przydzielonego
• Strefa danych UE, USA lub APAC: użyj Data Zone Standard lub Data Zone Provisioned w regionie należącym do tej strefy danych
• Geografia platformy Azure: użyj warstwy Standardowa lub Regionalna

Aby uzyskać dokładne regiony w każdej strefie danych, zobacz Wdrożenia strefy danych.

Według wzorca obciążenia

• Szybki start, tworzenie prototypów lub próba utworzenia nowego modelu: użyj natychmiastowego dostępu (wersja zapoznawcza) ( bez konieczności wdrażania)
• Zmienny, ruch o zmiennym natężeniu: użyj Standard lub Global Standard (płatność za token)
• Spójny duży wolumin: Używaj typów zarezerwowanych (pojemność zarezerwowana)
• Duże zadania wsadowe (niewrażliwe na czas): używaj Global Batch lub Data Zone Batch (50% niższe koszty)
• Dostrojona ocena modelu: Użyj dewelopera (bez umowy SLA, najniższego kosztu)

Zgodnie z wymogiem dotyczącym opóźnienia

• Wymagana jest niska zmienność opóźnienia: użyj typów przydzielonych
• Akceptowalna wariancja opóźnienia: użyj typów standardowych
• Ocenianie dostrojonego modelu: użyj warstwy deweloperskiej (bez umowy SLA; nie jest przeznaczona do obciążeń wrażliwych na opóźnienia).

Lokalizacje przetwarzania danych

Wdrożenia standardowe i aprowizowane oferują trzy opcje przetwarzania danych: globalną, strefę danych i geografię platformy Azure. Global Standard to typowy punkt wyjścia dla większości obciążeń.

Wdrożenia globalne

Wdrożenia globalne używają globalnej infrastruktury Azure do dynamicznego kierowania ruchu do dostępnych centrów danych. Wdrożenia globalne oferują najwyższe początkowe limity przepływności i najszerszą dostępność modelu.

W przypadku obciążeń o dużej skali może wystąpić zwiększona zmienność opóźnienia. Jeśli potrzebujesz mniejszej wariancji opóźnienia na dużą skalę, użyj prowizjonowanych typów wdrożeń.

Wdrożenia globalne otrzymują najpierw nowe modele i funkcje.

Wdrożenia strefy danych

W przypadku typów wdrożenia Global usługa może przetwarzać prompty i odpowiedzi w dowolnym regionie geograficznym, w którym wdrożono model. W przypadku typów wdrożenia Data Zone usługa przetwarza prompty i odpowiedzi wyłącznie w określonej strefie danych:

• Stany Zjednoczone: usługa przetwarza dane w dowolnym miejscu w Stanach Zjednoczonych.
• Unia Europejska: Usługa przetwarza dane w ramach granicy danych Azure UE.
• Azja i Pacyfik: usługa przetwarza dane w strefie danych APAC.

Strefa danych UE jest zgodna z Azure granicą danych UE, która może obejmować kraje i regiony Europejskiego Stowarzyszenia Wolnego Handlu (EFTA), takie jak Norwegia i Szwajcaria, oprócz państw członkowskich UE. Strefa danych APAC obejmuje wiele regionów Azji i Pacyfiku. Microsoft mogą dodawać regiony do obu stref danych bez wcześniejszego powiadomienia w celu zwiększenia pojemności i dostępności. Bieżący podział według regionów można znaleźć w sekcji „Dostępność modeli w regionach według typu wdrożenia” w artykule Modele Foundry sprzedawane przez Azure.

Standardowa globalna

• Nazwa jednostki SKU w kodzie: GlobalStandard

Globalne wdrożenia standardu używają globalnej infrastruktury Azure do dynamicznego routingu ruchu do dostępnych centrów danych. Ten typ wdrożenia zapewnia najwyższy domyślny limit przydziału i eliminuje konieczność równoważenia obciążenia w wielu zasobach.

Klienci z dużą i spójną przepustowością mogą doświadczać większej zmienności w opóźnieniach. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz stronę Limity przydziału. W przypadku aplikacji, które wymagają mniejszej wariancji opóźnień przy dużym obciążeniu, rozważ użycie prowizjonowanej przepływności.

Global Standard obsługuje przetwarzanie priorytetowe w celu szybszego czasu odpowiedzi na zasadzie opłat zgodnie z wykorzystaniem. Aby dowiedzieć się więcej, zobacz Przetwarzanie priorytetowe dla modeli Foundry.

Globalne provisionowanie

• Nazwa jednostki SKU w kodzie: GlobalProvisionedManaged

Wdrożenia z aprowizacją na skalę globalną korzystają z globalnej infrastruktury Azure do dynamicznego kierowania ruchu do dostępnych centrów danych. Ten typ wdrożenia zapewnia zarezerwowaną pojemność przetwarzania modelu dla przewidywalnej przepustowości, łącząc globalny routing z gwarantowaną pojemnością.

W przypadku aprowizowanej przepływności kupujesz stałą liczbę aprowizowanych jednostek przepływności (PTU), które gwarantują określony poziom wydajności przetwarzania. Ten typ wdrożenia zapewnia mniejsze i bardziej spójne opóźnienie niż globalna standardowa. Aby dowiedzieć się więcej, zobacz Pojęcia dotyczące aprowizowanej przepływności.

Globalna partia

• Nazwa jednostki SKU w kodzie: GlobalBatch

Usługa Global Batch obsługuje zadania przetwarzania dużych i dużych ilości. Możesz przetwarzać asynchroniczne grupy żądań z oddzielnym limitem przydziału i 24-godzinnym zwrotem docelowym, przy 50% niższych kosztach niż Global Standard. W przypadku przetwarzania wsadowego zamiast wysyłania jednego żądania jednocześnie wysyła się dużą liczbę żądań w jednym pliku. Globalne żądania usługi Batch mają oddzielny limit przydziału tokenu w kolejce, co pozwala uniknąć zakłóceń obciążeń online.

Typowe przypadki użycia:

• Przetwarzanie danych na dużą skalę: równoległe analizowanie zestawów danych.
• Generowanie zawartości: utwórz duże ilości tekstu, takie jak opisy produktów lub artykuły.
• Przegląd i podsumowanie dokumentu: przetwarzanie i podsumowywanie długich dokumentów.
• Automatyzacja obsługi klienta: obsługa wielu zapytań jednocześnie.
• Wyodrębnianie i analiza danych: wyodrębnianie i analizowanie informacji z dużych ilości danych bez struktury.
• Zadania przetwarzania języka naturalnego (NLP): przeprowadź analizę tonacji lub tłumaczenie w dużych zbiorach danych.

Strefa danych Standard

• Nazwa jednostki SKU w kodzie: DataZoneStandard

Wdrożenia w warstwie Data Zone Standard dynamicznie kierują ruchem do centrów danych w strefie danych zdefiniowanej przez firmę Microsoft (US, EU lub APAC). Ten typ wdrożenia zapewnia wyższe domyślne limity przydziału niż typy wdrożeń oparte na lokalizacji geograficznej przy zachowaniu danych w określonej strefie.

Klienci z dużą i spójną przepustowością mogą doświadczać większej zmienności w opóźnieniach. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz stronę przydziałów i limitów. W przypadku obciążeń wymagających niskiej wariancji opóźnień przy dużym wolumenie, rozważ wdrożenie typu z rezerwacją zasobów.

Usługa Data Zone Standard obsługuje przetwarzanie z priorytetem dla szybszego czasu reakcji w modelu płatności zgodnie z użyciem. Aby dowiedzieć się więcej, zobacz Przetwarzanie priorytetowe dla modeli Foundry.

Skonfigurowana strefa danych

• Nazwa jednostki SKU w kodzie: DataZoneProvisionedManaged

Wdrożenia Data Zone Provisioned dynamicznie kierują ruch w obrębie strefy danych określonej przez firmę Microsoft (USA, UE lub APAC), jednocześnie zapewniając zarezerwowaną przepustowość przetwarzania modelu. Ten typ wdrożenia łączy zgodność strefy danych z wysoką i przewidywalną przepływnością.

Pakiet Strefy Danych

• Nazwa jednostki SKU w kodzie: DataZoneBatch

Wdrożenia usługi Batch w strefie danych zapewniają takie same funkcje jak globalna usługa Batch, w tym 50% oszczędności kosztów i 24-godzinny zwrot. Ruch jest kierowany tylko do centrów danych w strefie danych zdefiniowanej Microsoft (USA, UE lub APAC).

Standard

• Nazwa jednostki SKU w kodzie: Standard

Wdrożenia w warstwie Standard korzystają z rozliczeń w modelu 'opłata za token'. Płacisz tylko za to, co zużywasz. Modele dostępne w każdym regionie oraz przepustowość mogą być ograniczone.

Standardowe wdrożenia są odpowiednie dla obciążeń o małych i średnich woluminach z wysoką zmiennością. Klienci z dużą i spójną przepustowością mogą doświadczać większej zmienności w opóźnieniach.

Regionalne dostarczanie

• Nazwa jednostki SKU w kodzie: ProvisionedManaged

Regionalne wdrożenia zarezerwowane pozwalają na określenie wymaganej przepustowości we wdrożeniu. Następnie usługa przydziela niezbędną moc obliczeniową dla przetwarzania modelu i zapewnia, że jest gotowe do użytku. Przepływność jest definiowana pod względem przydzielonych jednostek przepływności (PTU), który jest znormalizowanym sposobem reprezentowania przepływności dla wdrożenia. Każda para wersji modelu wymaga różnych ilości jednostek PTU do wdrożenia i zapewnia różne ilości przepływności na jednostkę PTU. Minimalne wymagania dotyczące jednostki PTU różnią się w zależności od modelu. Aby uzyskać informacje o bieżących minimalnych i dostępnych pojemnościach, zobacz Pojęcia dotyczące aprowizowanej przepływności.

Deweloper (w przypadku dostosowanych modeli)

• Nazwa jednostki SKU w kodzie: DeveloperTier

Typ wdrożenia dewelopera jest przeznaczony tylko do precyzyjnej oceny modelu. Zapewnia ekonomiczne testowanie modeli niestandardowych, ale nie obejmuje gwarancji rezydencji danych ani umowy SLA. Wdrożenia deweloperów mają stały okres istnienia 24-godzinny i są automatycznie usuwane po wygaśnięciu. Aby dowiedzieć się więcej na temat używania typu wdrożenia dla deweloperów, zobacz przewodnik dostrajania.

Rozwiązywanie problemów z wdrażaniem

Typowe problemy podczas tworzenia lub używania wdrożeń:

Aby zapoznać się z limitami przydziału według typu wdrożenia, zobacz Foundry Models quotas and limits.

Ograniczanie typów wdrożeń przy użyciu Azure Policy

Azure Policy pomaga wymuszać standardy organizacyjne i oceniać zgodność na dużą skalę. Za pomocą panelu zgodności możesz ocenić ogólny stan środowiska i zagłębić się w szczegółowość każdego zasobu oraz każdej zasady. Azure Policy obsługuje również korygowanie zbiorcze istniejących zasobów i automatyczne korygowanie nowych zasobów. Dowiedz się więcej na temat Azure Policy i określonych wbudowanych kontrolek narzędzi Foundry Tools.

Użyj poniższych zasad, aby wyłączyć dostęp do określonego typu wdrożenia rozwiązania Foundry. Zastąp GlobalStandard nazwą SKU typu wdrożenia, którego chcesz ograniczyć.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Powiązana zawartość

• Wdróż modele Microsoft Foundry w portalu Foundry
• Tworzenie i wdrażanie Azure OpenAI w zasobie Microsoft Foundry Models
• Modele Foundry sprzedawane przez platformę Azure
• Dostępność regionu modelu według typu wdrożenia
• Modele Foundry Microsoft - kwoty i limity
• Pojęcia dotyczące aprowizowanej przepływności
• Globalne przetwarzanie wsadowe
• cennik Azure OpenAI Service
• Prywatność i bezpieczeństwo danych dla modeli Foundry
• Wysoka dostępność i odzyskiwanie po awarii