Översikt över AI Gateway-nivå (förhandsvisning)

GÄLLER FÖR: AI Gateway-tier (förhandsvisning)

Nivån AI Gateway (förhandsversion) i Azure API Management är en helt hanterad gateway för AI-arbetslaster. Det ger team en plats att publicera, säkra, styra och observera tillgång till AI-modeller och Model Context Protocol (MCP)-verktyg.

AI Gateway-nivån finns i offentlig förhandsversion. Förhandsgranskningsfunktioner, regioner, tjänstegränser och API:er kan ändras innan allmän tillgänglighet. Prissättning och affärsmodell kommer att tillkännages senare i förhandsvisningen.

Vad är AI Gateway-nivån?

AI Gateway-nivån är en hanterad gateway för applikationer som anropar modeller och verktyg. Applikationer anropar en gateway-endpoint istället för att direkt anropa varje leverantör eller verktygsbackend. För varje begäran gör gatewayen följande:

1. Autentiserar runtime-åtkomstnyckeln i api-key headern.
2. Utvärderar de policyer som gäller för målmodellen eller verktyget.
3. Dirigera förfrågan till den valda backend – via model fältet för modeller, eller verktygsnamnet för verktyg – med de backend-uppgifter du konfigurerat.
4. Returnerar svaret och skickar telemetri — OpenTelemetri-loggar och mätvärden såsom tokenantal och latens.

Varför du ska använda det

AI Gateway-nivån ger plattformsteam en styrd runtime-gräns för appar, modeller och verktyg. Använd den för att:

• Placera en gateway-endpoint framför stödda AI-leverantörer.
• Håll leverantörsuppgifterna dolda för ansökningar.
• Hantera modeller, MCP-servrar, runtime-åtkomstnycklar, policyer och övervakning.
• Tillämpa styrningskontroller såsom tokenhastighetsgränser, begäranarfrekvensgränser, innehållssäkerhet och IP-filter.
• Publicera godkända MCP-verktyg för AI-agenter.
• Upptäck och använd tillgängliga modeller och verktyg genom en självbetjäningskatalog.
• Logga in för att hantera gatewayen med Microsoft Entra ID.

Välj sökväg

Viktiga begrepp

Gateway

En gateway är körtids- och hanteringsgränsen för AI-trafik. Det är en dedikerad Azure-resurs som du kan provisionera på ungefär en minut, utan skalenheter att planera. Applikationer anropar en gateway-endpoint med en runtime-åtkomstnyckel istället för att anropa varje leverantör eller verktygsbackend direkt. Du hanterar modeller, verktyg, policyer, nycklar och identitet för det på ett och samma ställe.

Modeller

En modell är en leverantörs modell som du publicerar via gatewayen. Applikationer väljer det efter namn i förfrågans model fält. Alla OpenAI-kompatibla leverantörer (Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex och OpenAI) delar en enda endpoint. .../models/openai/v1 Gatewayen leder med en exakt matchning på model, så ge varje modell ett unikt namn. Anthropic använder en anpassad leverantör med Messages API-passthrough på .../models/anthropic/v1/messages. Gatewayen innehåller backend-uppgifter, så applikationer hanterar aldrig leverantörsnycklar.

MCP-servrar och verktyg

En MCP-server är en styrd endpoint (.../toolservers/<server-name>/mcp) som agenter anropar för att nå verktyg. Den federerar en eller flera backends från tre källor: en fjärr-MCP-server (via URL), en OpenAPI-specifikation eller en inbyggd koppling (mer än 1 000 SaaS-appar, utan server att hosta). Varje backends operationer blir verktyg. Du väljer hur gatewayen autentiseras till varje backend: None, API Key, OAuth 2.0 eller Managed identity.

Policies

En policy är en skyddsmekanism vid körning som du konfigurerar som ett kort i portalen – utan XML.

Identitet och åtkomstnycklar

Administratörer loggar in för att hantera gatewayen genom att använda Microsoft Entra ID. Applikationer autentiserar sig med runtime-åtkomstnycklar – skapa dessa nycklar på portalens nyckelsida (Create API key) och skicka dem i api-key headern. En nyckel är begränsad till gatewayen: den ger åtkomst till alla modeller och verktyg. För backends använder gatewayen managed identity där det finns tillgängligt (så inga hemligheter lagras) eller en provider key som du tillhandahåller. Utfärda en nyckel per applikation och miljö, och ge varje identitet minsta privilegium.

Självbetjäningskatalog

Utvecklare upptäcker modeller och verktyg i en självbetjäningskatalog – var och en med anslutningsdetaljer och prover – fäster favoriter och hoppar var som helst med Ctrl+K (⌘K på macOS) kommandopalett.

Regional tillgänglighet

Under offentlig förhandsvisning finns AI Gateway-nivån tillgänglig i följande Azure-regioner.

Tillgängligheten i regionen kan variera beroende på prenumeration, moln, kapacitet, funktionsflagga och förhandsvisningsregistrering. Om din målregion inte finns tillgänglig i portalen eller distributionsverktygen, välj en annan stödd förhandsgranskningsregion eller kontakta din Microsoft-representant.

Välj den region som bäst matchar dina användare, applikationer, AI-backends och nätverksberoenden. Om gatewayen dirigerar till Azure OpenAI, Microsoft Foundry, modellslutpunkter, API:er eller MCP-servrar, ta även hänsyn till dessa platser. Databosättningen beror på hela begäransökvägen, inte bara gateway-regionen. Gå igenom var varje komponent är distribuerad, inklusive gateway, AI-backends, verktyg, loggningsdestinationer, hanterade identiteter och klientapplikationer.

Vanliga frågor och svar

När bör jag använda AI Gateway-nivån istället för att ringa leverantörer direkt?

Använd AI Gateway-nivån när du vill ha en styrd endpoint framför många modeller och verktyg: centrala runtime-nycklar istället för leverantörsuppgifter i varje applikation, delade policys (token- och förfrågningsgränser, innehållssäkerhet, IP-filter), enhetlig telemetri och en självbetjäningskatalog. Om du anropar en enda modell från en enda applikation och inte behöver styrning eller centrala uppgifter kan det vara enklare att ringa leverantören direkt.

Bör jag importera från Foundry eller lägga till en egen modell?

Importera från Foundry när din modell körs i en Microsoft Foundry- eller Azure OpenAI (Azure AI Services)-resurs; guiden upptäcker resursens distributioner åt dig. Lägg till en anpassad modell för AWS Bedrock, Google Vertex, OpenAI, Anthropic eller någon annan OpenAI-kompatibel endpoint, där du själv anger endpoint- och modellnamn. Se Hantera modeller och verktyg.

Är AI Gateway-nivån redo för produktion?

AI Gateway-nivån är i offentlig förhandsversion: tillgängligheten tillhandahålls enligt principen om bästa möjliga insats utan tjänstenivåavtal (SLA), och API:er, portalflöden, telemetri, begränsningar, regioner och prissättning kan ändras. Förhandsvisningskvoter kan begränsa antalet modeller, verktyg och runtime-åtkomstnycklar samt din förfrågnings- och tokengenomströmning; Specifika gränser kommer att publiceras innan allmän tillgänglighet. Börja med icke-kritiska arbetsbelastningar, kontrollerade piloter och tydliga rollback-planer.

Hur hanteras prissättningen under förhandsvisningen?

Prissättning och affärsmodell för AI Gateway-nivån kommer att tillkännages senare i förhandsvisningen. Du kan också betala för relaterade resurser som du använder med gatewayen, såsom modellleverantörer, Application Insights, nätverk och observabilitetsplattformar.

Vilka regioner finns tillgängliga?

AI Gateway-nivån finns tillgänglig i East US 2 och Sweden Central. Se Tillgänglighet per region.

Hur hanteras mina data?

Du väljer vart telemetrin ska gå. Med Application Insights stannar den kvar i din Azure-prenumeration. Andra OpenTelemetry (OTLP)-destinationer följer din konfiguration och leverantörens villkor. Telemetri använder OpenTelemetry GenAI:s semantiska konventioner (prefixet gen_ai.* ). Datalokalisering beror på hela begärandekedjan, så placera gatewayen, backendtjänsterna och telemetridestinationerna i godkända regioner och involvera era säkerhets- och integritetsteam.

Har AI Gateway-nivån stöd för privata nätverk?

Yes. Inbound Private Link och outbound virtual network-integration ingår i den publika förhandsvisningen. Se Konfigurera privat nätverk för installation, DNS och begränsningar.

Vilken API-version bör jag använda för automatisering?

Använd versionen 2026-05-01-previewav förhandsgranskningshanterings-API:et. Validera automatiseringen innan en bred utrullning eftersom API:et är i förhandsvisning.

Relaterat innehåll

• Snabbstart: Skapa en instans på AI Gateway-nivån
• Hantera modeller och verktyg
• Styr, säkra och driv AI Gateway-nivån
• Konfigurera privata nätverk