Distributionstyper för Microsoft Foundry-modeller

När du distribuerar en modell i Microsoft Foundry väljer du en distributionstyp som avgör:

• Var dina data bearbetas (global, datazon eller enskild region)
• Hur du betalar (betala per token eller reserverad kapacitet)
• Prestandaegenskaper (svarstidsavvikelse, dataflödesgränser)

Dessa distributionstyper gäller för distributionsalternativet Serverlöst API . Modeller med öppen källkod och anpassade modeller som använder hanterad beräkning använder inte dessa typer. Information om hur alternativen skiljer sig åt finns i Distributionsöversikt för Microsoft Foundry-modeller.

Tjänsten erbjuder tre huvudkategorier: standard (betala per token), etablerad (reserverad kapacitet) och batch (rabatterad asynkron bearbetning). En utvecklartyp är också tillgänglig för finjusterad modellutvärdering. Inom standardkategorierna och etablerade kategorier kan du välja global bearbetning, datazon eller regional bearbetning baserat på dina efterlevnadskrav.

Börja med Global Standard

Börja med Global Standard för de flesta arbetsbelastningar. Den lanseras först när en ny modell släpps, har det lägsta priset och erbjuder den bredaste regiontäckningen. Flytta endast till en annan distributionstyp när du har en specifik orsak, till exempel datahemvist, reserverat dataflöde eller asynkron batchbearbetning.

Nya distributionstyper blir tillgängliga i en angivet ordning: Global, sedan Datazon och sedan en enda region. Distributionstyper för en region anländer sist, har inget garanterat tillgänglighetsdatum och är beroende av kapacitet som frigörs när äldre modeller dras tillbaka. Den auktoritativa startordningen finns i Modellstart och tillgänglighet.

Jämförelse av distributionstyp

Med snabbmodeller kan du köra slutsatsdragning utan att skapa en distribution, så att de inte är distributionstyper. Om du vill prova en modell direkt kan du läsa Direktåtkomst till modeller.

SLA-garantier varierar beroende på distributionstyp. Provisionerade typer ger garanterad genomströmning och lägre latensvariation. Standardtyper erbjuder bästa möjliga service. Utvecklardistributioner innehåller inget serviceavtal. Mer information finns i serviceavtalet Azure för Azure OpenAI Service.

Välj rätt distributionstyp

Använd följande tabell för en snabb rekommendation och förfina den sedan med de kriterier som följer.

På grund av krav på datahemvist

• Inga begränsningar: Använd Global Standard eller Global Provisioned
• EU, USA eller APAC-datazon: Använd Data Zone Standard eller Data Zone Etablerad i en region inom den datazonen
• Endast en region: Använd Standard eller Regionalt etablerad

Exakta regioner i varje datazon finns i Distributioner av datazoner.

Efter arbetsbelastningsmönster

• Snabbstart, prototyper eller försök med en ny modell: Använd omedelbar åtkomst (förhandsversion) (ingen distribution krävs)
• Variabel, bursty (ryckig) trafik: Använd Standard eller Global Standard (betala per token)
• Konsekvent hög volym: Använd etablerade typer (reserverad kapacitet)
• Stora batchjobb (inte tidskänsliga): Använd Global Batch eller Data Zone Batch (50% kostnadsbesparingar)
• Finjusterad modellutvärdering: Använd Utvecklare (inget serviceavtal, lägsta kostnad)

Enligt svarstidskrav

• Varians med låg svarstid krävs: Använd etablerade typer
• Svarstidsavvikelsen är acceptabel: Använd standardtyper
• Utvärdera en finjusterad modell: Använd utvecklare (inget serviceavtal, inte avsett för svarstidskänsliga arbetsbelastningar).

Databehandlingsplatser

Standarddistributioner och etablerade distributioner erbjuder båda tre alternativ för databearbetning: global, datazon och enskild region (Azure geografi). Global standard är en vanlig utgångspunkt för de flesta arbetsbelastningar.

Globala driftsättningar

Globala distributioner använder Azure globala infrastruktur för att dynamiskt dirigera trafik till tillgängliga datacenter. Globala distributioner erbjuder de högsta initiala dataflödesgränserna och den bredaste modelltillgängligheten.

För arbetsbelastningar med stora volymer kan du uppleva ökad svarstidsvariation. Om du behöver lägre svarstidsavvikelse i stor skala använder du etablerade distributionstyper.

Globala distributioner tar först emot nya modeller och funktioner.

Distributioner av datazoner

För globala distributionstyper kan tjänsten bearbeta frågor och svar i alla geografiska områden där modellen distribueras. För distributionstyper för datazoner bearbetar tjänsten endast frågor och svar inom den angivna datazonen:

• United States: Tjänsten bearbetar data var som helst i USA.
• Europeiska unionen: Tjänsten bearbetar data inom Azure EU-datagräns.
• Asien och stillahavsområdet: Tjänsten bearbetar data i APAC-datazonen.

EU:s datazon följer Azure EU:s datagräns, som kan omfatta EFTA-länder och regioner som Norge och Schweiz utöver EU:s medlemsstater. APAC-datazonen omfattar flera Regioner i Asien och Stillahavsområdet. Microsoft kan lägga till regioner i endera datazonen utan föregående meddelande för att förbättra kapaciteten och tillgängligheten. Den aktuella uppdelningen per region finns i avsnittet "Tillgänglighet för modellregion efter distributionstyp" i Foundry-modeller som säljs av Azure.

Global Standard

• SKU-namn i kod: GlobalStandard

Global Standard-distributioner använder Azure globala infrastruktur för att dynamiskt dirigera trafik till tillgängliga datacenter. Den här distributionstypen ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan Kvoter. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning bör du överväga etablerat dataflöde.

Global Standard stöder prioritetsbearbetning för snabbare svarstider på en betala-efter-användning-basis. Mer information finns i Prioritetsbearbetning för Foundry-modeller.

Global provisionerad

• SKU-namn i kod: GlobalProvisionedManaged

Globala förberedda distributioner använder Azures globala infrastruktur för att dynamiskt dirigera trafik till tillgängliga datacenter. Den här distributionstypen tillhandahåller reserverad modellbearbetningskapacitet för förutsägbart dataflöde och kombinerar global routning med garanterad kapacitet.

Med etablerat dataflöde köper du ett fast antal etablerade dataflödesenheter (PTUs) som garanterar en viss nivå av bearbetningskapacitet. Den här distributionstypen ger lägre och mer konsekvent svarstid än Global Standard. För mer information, se Begrepp för tilldelat dataflöde.

Global batchkörning

• SKU-namn i kod: GlobalBatch

Global Batch hanterar storskaliga bearbetningsuppgifter och bearbetningsuppgifter med stora volymer. Du kan bearbeta asynkrona grupper av begäranden med separat kvot och en 24-timmars målomställning, till 50% mindre kostnad än Global Standard. Med batchbearbetning, i stället för att skicka en begäran i taget, skickar du ett stort antal begäranden i en enda fil. Globala batchbegäranden har en separat köad tokengräns, vilket förhindrar störningar i dina onlinearbetslaster.

Vanliga användningsfall:

• Storskalig databearbetning: Analysera datauppsättningar parallellt.
• Innehållsgenerering: Skapa stora mängder text, till exempel produktbeskrivningar eller artiklar.
• Dokumentgranskning och sammanfattning: Bearbeta och sammanfatta långa dokument.
• Kundsupportautomatisering: Hantera flera frågor samtidigt.
• Extrahering och analys av data: Extrahera och analysera information från stora mängder ostrukturerade data.
• Uppgifter för bearbetning av naturligt språk (NLP): Utför attitydanalys eller översättning på stora datamängder.

Standard för datazon

• SKU-namn i kod: DataZoneStandard

Data Zone Standard-distributioner dirigerar dynamiskt trafik till datacenter inom den Microsoft definierade datazonen (USA, EU eller APAC). Den här distributionstypen ger högre standardkvoter än distributionstyper för en region samtidigt som data hålls inom den angivna zonen.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan med kvoter och gränser. För arbetsbelastningar som kräver varians med låg svarstid på stora volymer bör du överväga etablerade distributionstyper.

Data Zone Standard stöder prioritetsbearbetning för snabbare svarstider med betalning efter användning. Mer information finns i Prioritetsbearbetning för Foundry-modeller.

Provisionerad datazon

• SKU-namn i kod: DataZoneProvisionedManaged

Provisionerade distributioner i datazon dirigerar trafiken dynamiskt inom den Microsoft-angivna datazonen (USA, EU eller APAC) samtidigt som reserverad bearbetningskapacitet för modellen tillhandahålls. Den här distributionstypen kombinerar datazonsefterlevnad med högt och förutsägbart dataflöde.

Batch för datazon

• SKU-namn i kod: DataZoneBatch

Distributioner av Data Zone Batch erbjuder samma funktioner som Global Batch, inklusive 50% kostnadsbesparingar och 24 timmars bearbetningstid. Trafiken dirigeras endast till datacenter inom den Microsoft definierade datazonen (USA, EU eller APAC).

Standard

• SKU-namn i kod: Standard

Standarddistributioner använder fakturering med betalning per token. Du betalar bara för det du konsumerar. Modeller som är tillgängliga i varje region och genomströmning kan vara begränsade.

Standarddistributioner lämpar sig för arbetsbelastningar med låg till medelhög volym men med hög variation. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.

Regional tilldelning

• SKU-namn i kod: ProvisionedManaged

Med regionala resursallokerade distributioner kan du ange hur mycket genomströmning du behöver för en distribution. Tjänsten allokerar sedan den nödvändiga modellbearbetningskapaciteten och ser till att den är redo för dig. Dataflödet definieras i termer av etablerade dataflödesenheter (PTUs), vilket är ett normaliserat sätt att representera dataflödet för din distribution. Varje modellversionspar kräver olika mängder PTU:er för distribution och ger olika mängder dataflöde per PTU. Lägsta PTU-krav varierar beroende på modell. Aktuella miniminivåer och tillgänglig kapacitet finns i Begrepp för provisionerat genomflöde.

Utvecklare (för finjusterade modeller)

• SKU-namn i kod: DeveloperTier

Distributionstypen Utvecklare är endast avsedd för finjusterad modellutvärdering. Det ger kostnadseffektiv testning av anpassade modeller men innehåller inte garantier för datahemvist eller ett serviceavtal. Utvecklardistributioner har en fast livslängd på 24 timmar och tas automatiskt bort efter förfallodatum. Mer information om hur du använder distributionstypen Utvecklare finns i finjusteringsguiden.

Felsöka utplaceringsproblem

Vanliga problem när du skapar eller använder distributioner:

Kvotgränser efter distributionstyp finns i Foundry Models-kvoter och -gränser.

Begränsa distributionstyper med Azure Policy

Azure Policy hjälper till att framtvinga organisationsstandarder och utvärdera efterlevnad i stor skala. Via instrumentpanelen för efterlevnad kan du utvärdera miljöns övergripande tillstånd och gå in på detaljnivå för varje resurs och för varje policy. Azure Policy stöder även massreparation för befintliga resurser och automatisk reparation av nya resurser. Läs mer om Azure Policy och specifika inbyggda kontroller för Foundry Tools.

Använd följande princip för att inaktivera åtkomst till en specifik Foundry-distributionstyp. Ersätt GlobalStandard med SKU-namnet för den distributionstyp som du vill begränsa.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Relaterat innehåll

• Distribuera Microsoft Foundry-modeller i Foundry-portalen
• Skapa och distribuera en Azure OpenAI i resursen Microsoft Foundry Models
• Foundry-modeller som säljs av Azure
• Tillgänglighet för modellregion efter distributionstyp
• Microsoft Foundry Models kvoter och begränsningar
• Provisionerat dataflöde - begrepp
• Global Batch-bearbetning
• Azure OpenAI Service prissättning
• Datasekretess och säkerhet för Foundry-modeller
• Hög tillgänglighet och haveriberedskap