Verwalten und sichern Sie Vermögenswerte im AI Gateway Tier (Vorschau)

GILT FÜR: KI-Gateway-Ebene (Vorschau)

Verwenden Sie das AI-Gateway-Tier (Vorschau), um gemeinsame Steuerungen vor KI-Modelle, Microsoft Foundry-Ressourcen, Azure OpenAI-Deployments und MCP-Server zu setzen. Plattformteams können Governance-, Sicherheits- und Überwachungseinstellungen an einem Ort anwenden, während die Anwendungsteams weiterhin die benötigten Ressourcen nutzen. Um das Gateway mit privaten Backends und Clients zu verbinden, siehe Private Netzwerke konfigurieren.

Die KI-Gateway-Stufe befindet sich in der Vorschau. Nutze es für Pilotprojekte und produktionsähnliche Validierung. Features, Regionen, Grenzwerte, Telemetriefelder und Setup-Flows können sich vor der allgemeinen Verfügbarkeit ändern. Die Vorschau unterstützt schnelle Bereitstellung, aber Zuverlässigkeit ist die beste Anstrengung. Überwachen Sie Fehler und halten Sie einen Rollback-Pfad für kritische Anwendungen ein.

Voraussetzungen

• Eine KI-Gateway-Tier-Instanz.
• Berechtigung zur Verwaltung der AI-Gateway-Tier-Instanz.
• Zugang zu dem Anbietermodell oder Backend, das Sie verwalten möchten.
• Für die Back-End-Authentifizierung mit verwalteter Identität die Berechtigung zum Zuweisen der erforderlichen Rolle für die Back-End-Ressource.
• Zugriff auf ein Telemetrieziel, wie Application Insights oder einen anderen OpenTelemetry (OTLP)-kompatiblen Endpunkt.

Governancerichtlinien

Governance-Richtlinien schützen den KI-Verkehr, bevor Anfragen Backend-Modelle oder -Tools erreichen. In der Vorschau konfigurieren Sie Richtlinien als visuelle Karten im Portal; in der Control Plane API ist jede Policy ein strukturiertes JSON-Objekt. Man wählt einen Richtlinientyp, wählt aus, auf welche Modelle oder Tools er angewendet wird, füllt validierte Felder aus und wählt Erstellen. Du musst kein XML schreiben, keine Richtlinienfragmente einfügen oder Richtlinienausdrücke verwenden. Da Richtlinien strukturierte Objekte sind, können Sie sie mit Azure Policy über eine Flotte von Gateways prüfen oder durchsetzen.

Sie wenden jede Richtlinie auf die von Ihnen ausgewählten Modelle oder Werkzeuge an. Um eine Basiskontrolle wie Inhaltssicherheit festzulegen, wählen Sie alle relevanten Assets aus. Wenden Sie engere Richtlinien an, wenn ein Modell oder Tool unterschiedliche Risiko-, Kapazitäts- oder Netzwerkanforderungen hat.

Wenn mehr als eine Richtlinie auf eine Anfrage angewendet wird, bewertet das Gateway alle, bevor es die Anfrage an das Backend weiterleitet. Wenn eine Richtlinie die Anfrage blockiert, stoppt das Gateway und gibt einen Fehler zurück, ohne das Backend aufzurufen:

Wenn sowohl ein Token-Limit als auch ein Request-Limit angewendet werden, muss eine Anfrage beide erfüllen.

Nicht jede Police gilt für jeden Vermögenstyp. Inhaltssicherheit, IP-Filter- und Anforderungsrate-Limits gelten sowohl für Modelle als auch für MCP-Tools. Token-Ratenbeschränkungen gelten für Modelle.

Das folgende Diagramm zeigt, wo Governance-Richtlinien im Anfragefluss angewendet werden.

So konfigurieren Sie eine Richtlinie:

1. Im AI Gateway Tier-Portal wählen Sie Richtlinien>Richtlinie hinzufügen.
2. Bei Type wählst du jede Policy (Leitplanke), die du hinzufügen möchtest, wie Content Safety, IP-Filter, Token-Rate-Limit oder Request Rate-Limit.
3. Wählen Sie unter Assets die Modelle oder Tools aus, für die die Richtlinie gilt. Für eine gateway-weite Basislinie wählen Sie alle relevanten Assets aus.
4. Bei Konfigurieren geben oder wählen Sie Werte für die validierten Felder ein und wählen Sie dann Erstellen.

Beginnen Sie mit diesen Versicherungstypen:

• Inhaltssicherheit: Überprüfen Sie eingehende Eingabeaufforderungen und Werkzeugeingaben mit Azure KI Inhaltssicherheit, bevor sie das Backend erreichen. Setzen Sie pro Kategorie Schweregradschwellenwerte (Hass, Sexualität, Gewalt, Selbstverletzung) und wählen Sie 4 oder 8 Schweregrade für eine feinere Kontrolle. Aktivieren Sie Prompt Shields , um Jailbreak- und Prompt-Injection-Versuche zu erkennen, und fügen Sie Blocklisten hinzu, um bestimmte Schlüsselwörter oder Phrasen (z. B. Konkurrentennamen oder gesperrte Begriffe) abzulehnen. Entscheiden Sie, ob Sie blockieren, protokollieren oder beides verwenden; Ein blockierter Anruf gibt dem Client einen Fehler zurück. Content Safety erfordert eine Azure KI Inhaltssicherheit-Ressource, die Sie als Policy-Backend im Konfigurieren-Schritt auswählen. Um zu kalibrieren, ohne legitimen Datenverkehr abzulehnen, starten Sie im Log-only-Modus, passen Sie die Schwellenwerte gegen echten Datenverkehr an und schalten Sie dann auf Blockierung um. Das gilt für Modelle und MCP-Tools.
• IP-Filter: Beschränken Sie Laufzeitaufrufe auf genehmigte Client-Netzwerkbereiche mittels IPv4- oder IPv6-CIDR (Listen erlauben oder ablehnen). Wenden Sie es global für private Anwendungen an oder auf ein bestimmtes Modell oder Werkzeug, das eine engere Grenze benötigt. Kombinieren Sie es mit Laufzeit-Zugriffsschlüsseln zur Tiefenverteidigung: Der Schlüssel authentifiziert den Anrufer und der IP-Bereich setzt eine Netzwerkgrenze durch. Das gilt für Modelle und MCP-Tools.
• Token-Ratenbegrenzungen: Obergrenze für den Token-Durchsatz (Prompt plus Fertigstellung) pro Minute, Stunde oder Tag. Im Schritt "Konfigurieren " setzen Sie die Token-Erlaubnis und wählen Sie die Dimension, gegen die das Limit zählt – die Anruferidentität oder die IP-Adresse des Anrufers. Das Gateway gibt die Antwortheader remaining-tokens und consumed-tokens zurück (sowie remaining-quota-tokens bei stündlichen oder längeren Zeiträumen), sodass Client-Anwendungen ihre Anfragerate selbst drosseln können, bevor sie blockiert werden. Verwenden Sie Token-Limits, um die Modellkapazität zu schützen und Lastspitzen abzufedern. Gilt für Modelle.
• Anfrageratenbegrenzungen: Begrenzen Sie das Anrufvolumen über ein konfigurierbares Zeitfenster (zum Beispiel 30 Sekunden, 1 Minute, 2 Minuten oder 5 Minuten), das je nach Anruferidentität oder IP-Adresse des Anrufers gezählt wird. Nutze sie für Tools, die SaaS-APIs oder interne Systeme mit strengen Quoten aufrufen. Das gilt für Modelle und MCP-Tools.

Layer-Richtlinien für eine Basislinie und gezielte Überschreibungen

Nutzen Sie Governance optimal, indem Sie eine breite Basis mit enger gefassten Ausnahmen kombinieren:

• Legen Sie einen gatewayweiten Basiswert fest. Wenden Sie Inhaltssicherheit und einen IP-Filter auf alle relevanten Assets an, damit jedes Modell und jedes Tool denselben Schutz erbt.
• Fügen Sie gezielte Übersteuerungen hinzu. Man wendet eine Token-Rate-Begrenzung für kostenintensive oder kapazitätsbeschränkte Modelle an und ein strengeres Request Rate-Limit für ein bestimmtes Tool, das eine rate-limitierte Downstream-API aufruft.
• Stack-Kostenkontrollen. Wenden Sie sowohl ein Token-Limit als auch ein Request-Limit auf dasselbe Modell an, wenn Sie die Modellkapazität und nachgelagerte Systeme schützen müssen; Ein Antrag muss beide erfüllen.
• Umfang nach Identität. Gib pro Anwendung einen separaten Laufzeitzugriffsschlüssel aus und zähle dann die Rate-Limits nach Anruferidentität, damit jede Anwendung ihr eigenes Budget erhält und du die Nutzung zuordnen kannst.

Governance-Richtlinien sind operative Kontrollen. Token-Limits helfen, Spitzen zu reduzieren und Signale für die Nutzung bereitzustellen. Für die Finanzberichterstattung verwenden Sie Anbieterabrechnung oder Azure Cost Management.

Sicherheit und Identität

Nutzen Sie die Sicherheitsfunktionen im KI-Gateway-Tier, um den Zugriff zu steuern und Ressourcen zu sichern.

Laufzeitzugriffsschlüssel

Laufzeit-Zugriffsschlüssel ermöglichen es Client-Anwendungen, Vermögenswerte aufzurufen, die von der KI-Gateway-Tier bereitgestellt wurden, ohne Backend-Zugangsdaten zu erhalten. Client-Anwendungen authentifizieren sich mit Laufzeit-Zugriffsschlüsseln beim Gateway. Ein Client sendet einen Runtime-Zugriffsschlüssel an das Gateway im Header api-key . Das Gateway validiert den Schlüssel, wendet Governance-Richtlinien an und authentifiziert sich im Backend, indem es den konfigurierten API-Schlüssel, die OAuth-Konfiguration für Tools oder die verwaltete Identität verwendet. Verwenden Sie Laufzeit-Zugriffsschlüssel für Agentenanwendungen, Evaluations-Harnesses, Entwicklertools und Automatisierungen, die MCP-Server, von OpenAPI generierte MCP-Tools, Modellressourcen oder andere Gateway-Assets aufrufen.

Das Gateway erzeugt einen Laufzeit-Zugriffsschlüssel, weist ihn einem Besitzer zu und rotiert oder widerruft ihn bei Bedarf. In der Vorschau ist jeder Schlüssel auf das Gateway beschränkt: Er gewährt Zugriff auf alle veröffentlichten Modelle und Tools im Gateway, und eine Beschränkung auf Asset-Ebene ist noch nicht verfügbar. Erstelle separate Schlüssel pro Anwendung und Umgebung, damit du sie unabhängig rotieren und prüfen kannst.

Um einen Laufzeit-Zugriffsschlüssel zu erstellen:

1. Im AI Gateway Tier-Portal wählen Sie Schlüssel aus.
2. Wählen Sie API-Schlüssel erstellen aus.
3. Geben Sie einen stabilen Namen ein und geben Sie den Besitzer an.
4. Wählen Sie "Erstellen" aus.
5. Kopieren Sie den Wert zur Verwendung in Ihrer Anwendung. Sie können den Schlüssel später auf der Schlüsselseite erneut ansehen.

Client-Anwendungen enthalten den Laufzeit-Zugriffsschlüssel im Header api-key . Fügen Sie keine Laufzeit-Zugriffsschlüssel in Quellcode ein, erstellen Sie keine Logs, Notizbücher oder geteilten Chats. Speichere sie im geheimen Speicher deiner Bereitstellungsplattform oder in einem anderen genehmigten geheimen Manager. Verwenden Sie pro Anwendung und Umgebung einen Schlüssel. Wechseln Sie die Schlüssel regelmäßig und immer dann, wenn sich der Besitz ändert. Wenn ein Schlüssel kompromittiert worden sein könnte, tauschen Sie ihn sofort aus oder widerrufen Sie ihn und überprüfen Sie die Protokolle des Gateways.

Verwenden Sie Managed Identity für die Backend-Authentifizierung

Konfigurieren Sie die verwaltete Identität so, dass das AI-Gateway-Tier sich auf unterstützte Modell- und MCP-Server-Backends authentifizieren kann, ohne API-Schlüssel zu speichern. Die Nutzung einer verwalteten Identität zum Zugriff auf Modelle und MCP-Server ist in der öffentlichen Vorschau verfügbar. Ich bevorzuge eine verwaltete Identität, wo sie unterstützt wird, weil sie das Backend-Key-Management reduziert. Es entfernt die Schlüsselrotation aus der Gateway-Konfiguration und ermöglicht es Ihnen, den Zugriff mit Azure RBAC zu verwalten. Die KI-Gateway-Stufe unterstützt system- und benutzerzugewiesene verwaltete Identitäten. Verwalten Sie sie im Portal der AI Gateway-Stufe auf der Seite Managed identities.

Wählen Sie system- oder benutzerzugewiesene Identitäten je nach Ihren Bedürfnissen. Eine systemzugewiesene Identität ist an den Lebenszyklus des Gateways gebunden und ist einfach, wenn ein einzelnes Gateway Backend-Zugriff benötigt. Benutzerzugewiesene Identitäten geben dir eine engere Kontrolle: Du kannst eine Identität über Gateways teilen oder separate Identitäten für verschiedene Backends anhängen, anstatt für jedes Backend eine einzige Identität zu verwenden. Verwenden Sie einen API-Schlüssel, wenn ein Anbieter keine verwaltete Identität unterstützt.

Bevor Sie die Backend-Authentifizierung konfigurieren, stellen Sie sicher, dass Sie folgende Elemente haben:

• Eine KI-Gateway-Tier-Instanz.
• Eine Microsoft Foundry oder Azure OpenAI-Ressource, die die Modellbereitstellung hostet.
• Berechtigung zur Aktualisierung der Gateway-Identitätseinstellungen.
• Berechtigung zur Zuweisung von Azure RBAC-Rollen auf der Backend-Ressource.
• Azure CLI 2.57.0 oder später.

Um eine systemzugewiesene Identität zu aktivieren, öffnen Sie die Seite Managed Idententities im AI-Gateway-Tier-Portal. Unter "Identitäten konfigurieren" aktivieren Sie die vom System zugewiesene Identität und kopieren Sie dann deren Objekt-(Haupt-)ID.

Um eine benutzerzugewiesene Identität zu aktivieren, erstellen Sie die Identität im selben Tenant wie das Gateway und die Backend-Ressource. Auf der Seite Verwaltete Identitäten wählen Sie Benutzerzugewiesene>Identität hinzufügen und wählen Sie sie aus. Kopiere die Client-ID und die Objekt-(Haupt-)ID der verwalteten Identität. Das Gateway verwendet die Client-ID, um ein Token anzufordern. Azure RBAC verwendet die Principal ID.

Gewähren Sie dem Gateway-Identitätszugriff auf jede Backend-Ressource im engsten praktischen Umfang. In den meisten Fällen verwenden Sie die individuelle Foundry- oder Azure OpenAI-Ressource.

Verwenden Sie den folgenden Azure CLI-Ausschnitt. Ersetzen Sie die Platzhalter durch Ihre Werte. Beziehen Sie sich auf die Rolle anhand ihrer ID und nicht nach ihrem Namen.

Sammeln Sie diese Werte:

• GATEWAY_PRINCIPAL_ID: die Objekt-(Haupt-)ID der verwalteten Identität des Gateways.
• BACKEND_RESOURCE_ID: die vollständige Azure-Ressourcen-ID der Microsoft Foundry- oder Azure OpenAI-Ressource im Format /subscriptions/....

GATEWAY_PRINCIPAL_ID="<gateway-managed-identity-principal-id>"
BACKEND_RESOURCE_ID="/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.CognitiveServices/accounts/<foundry-or-aoai-resource-name>"

az role assignment create \
  --assignee-object-id "$GATEWAY_PRINCIPAL_ID" \
  --assignee-principal-type ServicePrincipal \
  --role "53ca6127-db72-4b80-b1b0-d745d6d5456d" \
  --scope "$BACKEND_RESOURCE_ID"

Rollenzuweisungen können mehrere Minuten dauern, bis sie verbreitet werden. Bestätigen Sie die Zuweisung:

az role assignment list \
  --assignee-object-id "$GATEWAY_PRINCIPAL_ID" \
  --scope "$BACKEND_RESOURCE_ID" \
  --output table

Wenn Sie ein Modell importieren, wählen Sie die verwaltete Identität als Backend-Authentifizierungsmethode. Im Assistenten Modelle hinzufügen wählen Sie Aus Foundry importieren aus und wählen dann das Abonnement, die Ressource und die Modellbereitstellung aus. Bei Provider-Details wählen Sie Verwaltete Identität aus und wählen Sie dann die systemzugewiesene Identität oder eine benutzerzugewiesene Identität, die dem Gateway zugeordnet ist. Clients, die das Gateway aufrufen, benötigen keine Backend-Schlüssel.

Wenn Aufrufe mit 401-Fehlern fehlschlagen, bestätigen Sie, dass der Import eine verwaltete Identität verwendet und das Backend die Entra ID-Authentifizierung akzeptiert. Wenn Aufrufe mit 403-Fehlern fehlschlagen, bestätigen Sie, dass die Haupt-ID der Identität die Foundry User-Rolle im Backend-Ressourcenumfang enthält und auf die Weitergabe der Rollenzuweisung warten.

Monitoring

Die AI-Gateway-Stufe gibt für den Modell-Datenverkehr eine OpenTelemetry-Metrik zur Tokennutzung aus. Sie entscheiden, wohin es geht: Senden Sie die Metrik an Azure-Anwendung Insights oder an ein anderes OpenTelemetrie-(OTLP)-kompatibles Ziel, wie Datadog, Splunk oder Grafana Cloud. Wenn Sie Application Insights verwenden, bietet das Portal ein integriertes Token Verbrauchs-Dashboard.

Die Verkehrsüberwachung des MCP-Tools (Anfragevolumen, Latenz und Fehler) ist in den Überwachungsansichten des Portals verfügbar, wenn Sie Application Insights verbinden. Der OpenTelemetry-(OTLP-)Export umfasst derzeit nur die Metrik zur Token-Nutzung des Modells, nicht jedoch den MCP-Tool-Datenverkehr.

Die Token-Nutzungsmetrik ist eine benutzerdefinierte OpenTelemetrie-Metrik, die eine Teilmenge der OpenTelemetry Generative AI und der Cloud-Semantik-Konventionsattribute enthält – zum Beispiel den Modellnamen. Nicht jedes Backend meldet Token-Anzahlen; einige Anbieter geben sie bei Streaming- oder Passthrough-Antworten nicht an. Behandle fehlende Tokendaten als unverfügbar, nicht als null.

Die Token-Nutzungsmetrik umfasst Attribute wie:

Konfigurieren Sie ein Telemetrieziel in den Überwachungseinstellungen des Gateways. Für Application Insights wählen Sie die Ressource in Ihrem Abo aus. Für einen generischen OpenTelemetry (OTLP)-Endpunkt geben Sie die Sammler-URL und alle erforderlichen Zugriffstoken oder Header an. Verwenden Sie Datadog, Splunk, Grafana Cloud oder einen generischen OTLP-Sammler, wenn diese Plattformen Ihre Standard-Betriebsplattformen sind. Schützen Sie Zielzugangsdaten als Geheimnisse und überwachen Sie Fehler bei Telemetrie-Exporten.

Wenn Sie die Token-Nutzungsmetrik an Application Insights senden, bietet das Portal ein integriertes Token Verbrauchs-Dashboard. Du fragst die Token-Metrik mit PromQL ab, egal ob sie in Application Insights oder einem anderen OTLP-Metrik-Ziel landet. Zum Beispiel fasst diese PromQL-Abfrage die Tokennutzung nach Modell zusammen:

sum by (gen_ai_request_model) (gen_ai_client_token_usage)

Da die Metrik die semantischen Konventionsattribute trägt, kann man den Verbrauch segmentieren, ohne zusätzliche Konfiguration. Zum Beispiel gruppieren Sie nach gen_ai_operation_name, um chat- und responses-Datenverkehr zu vergleichen, oder nach gen_ai_token_type, um Prompt- und Completion-Token zu trennen:

sum by (gen_ai_request_model, gen_ai_token_type) (gen_ai_client_token_usage)

Verwenden Sie Modell- und Tokennutzung für Verbrauchsschätzungen und gleichen Sie dann mit Anbieterabrechnungen oder Azure Cost Management-Exporten für die Finanzberichterstattung ab.

Senden Sie einen x-correlation-id Header für Untersuchungen auf Anwendungsebene. Fügen Sie keine persönlichen Daten, Geheimnisse, Prompts oder regulierten Identifikatoren in Korrelationsheader ein.

Beginnen Sie mit Warnungen, auf die Sie reagieren können, wie z. B. Token-Nutzungsspitzen, Backend-Authentifizierungsfehler und Telemetrie-Exportfehler. Leiten Sie jede Warnung an einen Eigentümer weiter, der das Gateway, Backend, die Policy oder die Zielkonfiguration untersuchen kann.

Verwandte Inhalte

• Überblick über die KI-Gateway-Tier
• Quickstart: Erstelle eine KI-Gateway-Tier-Instanz
• Verwaltung von Modellen und Werkzeugen
• Konfigurieren privater Netzwerke