Bereitstellungstypen für Microsoft Foundry Models (klassisch)

Zurzeit wird folgendes angezeigt:Foundry (klassische) Portalversion - Wechseln zur Version für das neue Foundry-Portal

Wenn Sie ein Modell in Microsoft Foundry bereitstellen, wählen Sie einen Bereitstellungstyp aus, der folgendes bestimmt:

• Wo Ihre Daten verarbeitet werden (global, Datenzone oder einzelne Region)
• Zahlungsweise (Pay-per-Token oder reservierte Kapazität)
• Leistungsmerkmale (Latenzabweichung, Durchsatzgrenzwerte)

Diese Bereitstellungstypen gelten für die Serverless-API-Bereitstellungsoption . Open-Source- und benutzerdefinierte Modelle, die verwaltete Compute verwenden, verwenden diese Typen nicht. Informationen dazu, wie sich die Optionen unterscheiden, finden Sie in der Bereitstellungsübersicht für Microsoft Foundry Models.

Der Dienst bietet drei Hauptkategorien: Standard (Pay-per-Token), bereitgestellt (reservierte Kapazität) und Batch (diskontierte asynchrone Verarbeitung). Ein Entwicklertyp steht auch für eine fein abgestimmte Modellauswertung zur Verfügung. Innerhalb der Standard- und bereitgestellten Kategorien können Sie basierend auf Ihren Complianceanforderungen globale, Datenzone oder regionale Verarbeitung auswählen.

Mit globalen Standard beginnen

Beginnen Sie für die meisten Workloads mit Global Standard. Es wird zuerst gestartet, wenn ein neues Modell veröffentlicht wird, den niedrigsten Preis hat und bietet die umfassendste Region Abdeckung. Wechseln Sie nur zu einem anderen Bereitstellungstyp, wenn Sie einen bestimmten Grund haben, z. B. Data Residency, reservierter Durchsatz oder asynchrone Batchverarbeitung.

Neue Bereitstellungstypen werden in einer festgelegten Reihenfolge verfügbar: Global, dann Data Zone und dann einzelne Region. Bereitstellungstypen mit einer Region kommen zuletzt ein, haben kein garantiertes Verfügbarkeitsdatum und hängen von der Kapazität ab, die freigegeben wird, wenn ältere Modelle eingestellt werden. Die autoritative Startreihenfolge finden Sie unter "Modellstart" und "Verfügbarkeit".

Vergleich der Bereitstellungsarten

SLA-Garantien variieren je nach Bereitstellungstyp. Bereitgestellte Typen bieten garantierten Durchsatz und geringere Latenzabweichung. Standardtypen bieten Best-Effort-Service. Entwicklerbereitstellungen enthalten keine SLA. Ausführliche Informationen finden Sie im Azure SLA für den Azure OpenAI Service.

Auswählen des richtigen Bereitstellungstyps

Verwenden Sie die folgende Tabelle für eine schnelle Empfehlung, und verfeinern Sie sie dann mit den folgenden Kriterien.

Nach Datenresidenzanforderung

• Keine Einschränkungen: Verwenden von Global Standard oder Global Provisioned
• EU-, US- oder APAC-Datenzone: Verwenden von Datenzonenstandard oder Datenzone, die in einer Region innerhalb dieser Datenzone bereitgestellt werden
• Nur eine Region: Standard- oder Regionalbereitstellung verwenden

Die genauen Regionen in jeder Datenzone finden Sie unter Data Zone Deployments.

Nach Arbeitsauslastungsmuster

• Variabler, burstartiger Datenverkehr: Standard oder Global Standard (Pay-per-Token) verwenden
• Konsistentes hohes Volumen: Verwenden von bereitgestellten Typen (reservierte Kapazität)
• Große Batchaufträge (nicht zeitempfindlich): Verwenden des globalen Batches oder des Datenzonenbatches (50% Kosteneinsparungen)
• Feinabstimmung der Modellauswertung: Verwenden sie Entwickler (keine SLA, niedrigste Kosten)

Je nach Latenzanforderung

• Niedrige Latenzvarianz erforderlich: Verwenden Sie bereitgestellte Typen
• Latenzabweichung akzeptabel: Standardtypen verwenden
• Auswerten eines optimierten Modells: Verwenden Sie Entwickler (keine SLA; nicht für Latenz-sensible Workloads vorgesehen).

Speicherorte für die Datenverarbeitung

Standard- und bereitgestellte Bereitstellungen bieten drei Optionen für die Datenverarbeitung: global, Datenzone und einzelne Region (Azure Geografie). Globaler Standard ist ein gemeinsamer Ausgangspunkt für die meisten Workloads.

Globale Bereitstellungen

Globale Bereitstellungen verwenden die globale Infrastruktur Azure, um den Datenverkehr dynamisch an verfügbare Rechenzentren weiterzuleiten. Globale Bereitstellungen bieten die höchsten Anfänglichen Durchsatzgrenzwerte und die größtmögliche Modellverfügbarkeit.

Bei Workloads mit hohem Volumen kann es zu einer erhöhten Latenzvariation kommen. Wenn Sie eine geringere Latenzabweichung im Maßstab benötigen, verwenden Sie bereitgestellte Bereitstellungstypen.If you require lower latency variance at scale, use provisioned deployment types.

Globale Bereitstellungen erhalten zuerst neue Modelle und Features.

Datenzonen-Bereitstellungen

Bei globalen Bereitstellungstypen kann der Dienst Aufforderungen und Antworten in jeder Geografie verarbeiten, in der das Modell bereitgestellt wird. Bei Bereitstellungstypen der Datenzone verarbeitet der Dienst Eingabeaufforderungen und Antworten nur innerhalb der angegebenen Datenzone:

• USA: Der Dienst verarbeitet Daten überall in den USA.
• Europäische Union: Der Dienst verarbeitet Daten innerhalb der Azure EU-Datengrenze.
• Asien-Pazifik: Der Dienst verarbeitet Daten innerhalb der APAC-Datenzone.

Die EU-Datenzone folgt der Azure EU-Datengrenze, die neben den EU-Mitgliedstaaten auch Länder der Europäischen Freihandelsassoziation (EFTA) und Regionen wie Norwegen und der Schweiz umfassen kann. Die APAC-Datenzone umfasst mehrere Regionen des asiatisch-pazifischen Raums. Microsoft können Regionen zu einer datenzone hinzufügen, ohne zuvor die Kapazität und Verfügbarkeit zu verbessern. Die aktuelle Aufschlüsselung pro Region finden Sie im Abschnitt "Modellregionenverfügbarkeit nach Bereitstellungstyp" der von Azure verkauften Foundry Models.

Globaler Standard

• SKU-Name im Code: GlobalStandard

Globale Standardbereitstellungen verwenden die globale Infrastruktur Azure, um den Datenverkehr dynamisch an verfügbare Rechenzentren weiterzuleiten. Dieser Bereitstellungstyp bietet das höchste Standardkontingent und beseitigt die Notwendigkeit des Lastenausgleichs zwischen mehreren Ressourcen.

Kunden mit hohem konsistenten Volumen können eine höhere Latenzvariabilität aufweisen. Der Schwellenwert wird pro Modell festgelegt. Erfahren Sie mehr auf der Seite Quotas. Für Anwendungen, die eine geringere Latenzabweichung bei einer großen Workloadauslastung erfordern, sollten Sie den bereitgestellten Durchsatz in Betracht ziehen.

Global Standard unterstützt die Prioritätsbearbeitung für schnellere Reaktionszeiten nach dem Pay-as-you-go-Prinzip. Weitere Informationen finden Sie unter Prioritätsverarbeitung für Foundry-Modelle.

Global bereitgestellt

• SKU-Name im Code: GlobalProvisionedManaged

Global bereitgestellte Bereitstellungen verwenden die globale Infrastruktur von Azure, um den Datenverkehr dynamisch an verfügbare Rechenzentren weiterzuleiten. Dieser Bereitstellungstyp bietet reservierte Modellverarbeitungskapazität für vorhersehbaren Durchsatz, wobei globales Routing mit garantierter Kapazität kombiniert wird.

Mit bereitgestelltem Durchsatz erwerben Sie eine feste Anzahl von bereitgestellten Durchsatzeinheiten (PTUs), die eine bestimmte Verarbeitungskapazität garantieren. Dieser Bereitstellungstyp bietet eine niedrigere und konsistentere Latenz als globaler Standard. Weitere Informationen finden Sie unter Bereitgestellte Durchsatzkonzepte.

Globaler Stapel

• SKU-Name im Code: GlobalBatch

Globaler Batch bewältigt groß angelegte und hochvolumige Verarbeitungsaufgaben. Sie können asynchrone Gruppen von Anforderungen mit separaten Kontingenten und einer 24-Stunden-Zielumlaufzeit mit 50% weniger Kosten als Global Standard verarbeiten. Bei der Batchverarbeitung senden Sie anstelle des Sendens einer Anforderung nach der anderen viele Anforderungen gesammelt in einer einzelnen Datei. Globale Batchanforderungen verfügen über ein separates eingereihtes Tokenkontingent, das jegliche Unterbrechung Ihrer Online-Workloads vermeidet.

Häufige Anwendungsfälle:

• Umfangreiche Datenverarbeitung: Analysieren von Datasets parallel.
• Inhaltsgenerierung: Erstellen Sie große Textmengen, z. B. Produktbeschreibungen oder Artikel.
• Dokumentüberprüfung und Zusammenfassung: Verarbeiten und Zusammenfassen von langwierigen Dokumenten.
• Automatisierung des Kundensupports: Behandeln Sie zahlreiche Abfragen gleichzeitig.
• Datenextraktion und -analyse: Extrahieren und Analysieren von Informationen aus großen Mengen unstrukturierter Daten.
• Aufgaben für die Verarbeitung natürlicher Sprachen (Natural Language Processing, NLP): Durchführen einer Stimmungsanalyse oder Übersetzung in großen Datasets.

Datenzonenstandard

• SKU-Name im Code: DataZoneStandard

Data Zone Standard-Bereitstellungen leiten Datenverkehr dynamisch an Rechenzentren innerhalb der Microsoft definierten Datenzone (USA, EU oder APAC) weiter. Dieser Bereitstellungstyp bietet höhere Standardkontingente als Bereitstellungstypen mit einer Region, während Daten innerhalb der angegebenen Zone beibehalten werden.

Kunden mit hohem konsistenten Volumen können eine höhere Latenzvariabilität aufweisen. Der Schwellenwert wird pro Modell festgelegt. Weitere Informationen finden Sie auf der Seite "Kontingente und Beschränkungen". Bei Workloads, die eine geringe Latenzabweichung bei großem Volumen erfordern, sollten Sie provisionierte Bereitstellungstypen in Betracht ziehen.

Data Zone Standard unterstützt die Prioritätsverarbeitung für schnellere Reaktionszeiten auf pay-as-you-go-Basis. Weitere Informationen finden Sie unter Prioritätsverarbeitung für Foundry-Modelle.

Bereitgestellte Datenzone

• SKU-Name im Code: DataZoneProvisionedManaged

Bereitstellungen mit bereitgestellter Datenzone leiten den Datenverkehr dynamisch innerhalb der von Microsoft angegebenen Datenzone (USA, EU oder APAC) weiter und stellen dabei eine reservierte Modellverarbeitungskapazität bereit. Dieser Bereitstellungstyp kombiniert die Datenzonenkonformität mit hohem und vorhersehbaren Durchsatz.

Datenzonenbatch

• SKU-Name im Code: DataZoneBatch

Datenzonenbatchbereitstellungen bieten die gleiche Funktionalität wie Global Batch, einschließlich 50 % Kostenersparnis und 24-Stunden-Bearbeitungszeit. Der Datenverkehr wird nur an Rechenzentren innerhalb der Microsoft definierten Datenzone (USA, EU oder APAC) weitergeleitet.

Standard

• SKU-Name im Code: Standard

Standardbereitstellungen verwenden die Abrechnung pro Token. Sie zahlen nur für das, was Sie verbrauchen. Modelle, die in den einzelnen Regionen verfügbar sind, und der Durchsatz können eingeschränkt sein.

Standardbereitstellungen eignen sich für Workloads mit geringem bis mittlerem Volumen und hoher Burstneigung. Kunden mit hohem konsistenten Volumen können eine höhere Latenzvariabilität aufweisen.

Regionale Bereitstellung

• SKU-Name im Code: ProvisionedManaged

Mit regionalen bereitgestellten Bereitstellungen können Sie den in einer Bereitstellung erforderlichen Durchsatz angeben. Der Dienst weist dann die erforderliche Modellverarbeitungskapazität zu und stellt sicher, dass er für Sie bereit ist. Der Durchsatz wird in Bezug auf bereitgestellte Durchsatzeinheiten (PTUs) definiert, was eine normalisierte Möglichkeit ist, den Durchsatz für Ihre Bereitstellung darzustellen. Jedes Modellversionspaar erfordert unterschiedliche Mengen von PTUs für die Bereitstellung und stellt unterschiedliche Durchsatzmengen pro PTU bereit. Die mindesten PTU-Anforderungen variieren je nach Modell. Aktuelle Mindestwerte und verfügbare Kapazität finden Sie unter Bereitgestellte Durchsatzkonzepte.

Entwickler (für fein abgestimmte Modelle)

• SKU-Name im Code: DeveloperTier

Der Entwicklerbereitstellungstyp ist nur für eine fein abgestimmte Modellauswertung ausgelegt. Sie bietet kostengünstige Tests von benutzerdefinierten Modellen, umfasst jedoch keine Datenaufbewahrungsgarantien oder SLA. Entwicklerbereitstellungen verfügen über eine feste Lebensdauer von 24 Stunden und werden nach Ablauf automatisch gelöscht. Weitere Informationen zur Nutzung des Entwicklerbereitstellungstyps finden Sie im Anpassungshandbuch.

Lösungen für Probleme bei der Bereitstellung

Häufige Probleme beim Erstellen oder Verwenden von Bereitstellungen:

Informationen zu Kontingentbeschränkungen nach Bereitstellungstyp finden Sie unter Kontingente und Limits für Foundry-Modelle.

Einschränken von Bereitstellungstypen mit Azure Policy

Azure Policy hilft dabei, organisatorische Standards zu erzwingen und die Compliance im großen Maßstab zu bewerten. Über das Compliance-Dashboard können Sie den Gesamtzustand der Umgebung auswerten und eine detaillierte Analyse pro Ressource, pro Richtlinie ausführen. Azure Policy unterstützt auch die Massenwartung für vorhandene Ressourcen und die automatische Wartung für neue Ressourcen. Weitere Informationen zu Azure Policy und spezifischen integrierten Steuerelementen für Foundry Tools.

Verwenden Sie die folgende Richtlinie, um den Zugriff auf einen bestimmten Foundry-Bereitstellungstyp zu deaktivieren. Ersetzen Sie GlobalStandard durch den SKU-Namen für den Bereitstellungstyp, den Sie einschränken möchten.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Verwandte Inhalte

• Deploy Microsoft Foundry Models im Foundry-Portal
• Erstellen und Bereitstellen einer Azure OpenAI-Ressource in Microsoft Foundry-Modellen
• Foundry Models von Azure vertrieben
• Verfügbarkeit von Modellregionen nach Bereitstellungstyp
• Microsoft Foundry Models Kontingente und Grenzwerte
• Bereitgestellte Durchsatzkonzepte
• Globale Batchverarbeitung
• Azure OpenAI Service Preise
• Datenschutz und Sicherheit für Foundry Models
• Hohe Verfügbarkeit und Notfallwiederherstellung