Hantera modeller och verktyg i AI Gateway-nivån (förhandsvisning)

GÄLLER FÖR: AI Gateway-tier (förhandsvisning)

Important

AI Gateway-nivån är för närvarande i offentlig förhandsversion. Under offentlig förhandsvisning finns AI Gateway-nivån tillgänglig i följande regioner:

  • USA – östra USA 2
  • Europa - Sverige Centrala

Använd AI Gateway-nivå (förhandsversion) för att hantera de modeller och verktyg som applikationer och agenter anropar. Importera modeller för att tillhandahålla en styrd endpoint för modellförfrågningar. Lägg till MCP-servrar för att exponera godkända verktyg via en styrd Model Context Protocol (MCP)-endpoint. Applikationer och agenter autentiserar sig mot gatewayen med runtime-åtkomstnycklar. Gatewayen använder backend-autentiseringen du konfigurerar för varje modellleverantör eller verktygsbackend.

Förutsättningar

  • En instans på AI Gateway-nivå.

  • Behörighet att hantera AI Gateway-tier-instansen.

  • Tillgång till den leverantörsmodell eller backend du planerar att lägga till.

  • För backendautentisering med hanterad identitet krävs behörighet att tilldela den nödvändiga rollen på backendresursen.

    Caution

    Säkerhetsövervägande: Användare med behörighet att redigera API Management-principer kan använda den här principen för att autentisera som tjänstens hanterade identitet. De kan dock inte få direkt åtkomst till resurser utan att först tilldela en hanterad identitet till API Management-instansen. När en hanterad identitet har tilldelats kan användare som kan ändra policyer kanske exfiltrera autentiseringstoken, sprida den till en backend eller logga den för senare användning. Detaljerad säkerhetsvägledning och riskreduceringsstrategier finns i Säkerhetsöverväganden för hanterade identiteter i översikten över hanterad identitet.

Importera modeller

Använd guiden Add models för att koppla AI Gateway-nivån till Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex, OpenAI, Anthropic eller anpassade endpoints. Gatewayen betjänar varje modell på de ändpunkter som dess backend stöder, under prefixet https://<gateway>.azure-api.net/default/models. Nästa vägsegment är leverantörens API-format. Till exempel serveras OpenAI-kompatibla modeller vid .../default/models/openai/v1 (såsom /chat/completions och /responses), och Anthropic-modeller vid .../default/models/anthropic/v1/messages. De anslutningsfält som trollkarlen kräver varierar beroende på leverantör.

Välj Importera från Foundry när din modell körs i en Microsoft Foundry-resurs, vilket inkluderar Azure OpenAI och Azure AI Services-distributioner. Trollkarlen upptäcker automatiskt resursens placeringar. Välj Lägg till en anpassad modell för AWS Bedrock, Google Vertex, OpenAI, Anthropic eller någon annan stödd endpoint, där du själv anger endpoint- och modellnamnen.

Använd managed identity när leverantören stödjer Microsoft Entra ID backend-autentisering, såsom Microsoft Foundry. Tilldela gateway-identiteten den nödvändiga rollen på backend-resursen innan import. Annars, ange leverantörens API-nyckel eller hemlighet under importen. Gatewayen lagrar och skyddar inloggningsuppgifterna.

Anropare refererar modellen med dess modellnamn i model fältet:

{
  "model": "gpt-5.6-sol",
  "messages": [
    {
      "role": "user",
      "content": "Summarize the incident report."
    }
  ]
}

Värdet model är modellnamnet som ges av den importerade modellen.

Anmärkning

För närvarande måste varje modellnamn i gatewayen vara unikt för alla leverantörer. Gatewayen routar varje förfrågan med en exakt matchning av värdet model .

För att lägga till modeller, öppna sidan Modeller och välj Lägg till modeller. Välj hur du vill knyta kontakt.

Import från Microsoft Foundry

  1. Välj Importera från Foundry.
  2. På Välj resurs, välj prenumerationen och Foundry-resursen. Guiden listar modelldistributionerna i den resursen.
  3. På leverantörsdetaljer, ange ett leverantörsnamn och visningsnamn, lägg till en valfri beskrivning och välj autentiseringsmetoden – Managed identity (rekommenderad, när tillgängligt) eller Key-based.
  4. Välj Skapa. Gatewayen importerar resursens utplaceringar som modeller som anropare begär vid namn.

Anmärkning

För att använda Managed identity måste gatewayen redan ha en hanterad identitet konfigurerad, och du måste ha behörighet att tilldela Foundry User-rollen till den identiteten på Foundry-resursen. När du har tillräckligt med behörigheter tilldelar importguiden rollen åt dig.

Lägga till en anpassad modell

  1. Välj Lägg till en anpassad modell.
  2. På Leverantör, ange ett visningsnamn, leverantörsnamn och en valfri beskrivning.
  3. På Endpoint, ange bas-endpoint-URL:en, autentiseringshuvudets namn (till exempel Authorization), och API-nyckeln.
  4. På Modeller, ange varje modellnamn och välj dess stödda slutpunkter – OpenAI-chattfullbordan, OpenAI-svar, Anthropic-meddelanden eller Annat. Välj Lägg till modell för varje modell du definierar.
  5. Välj Skapa.

Det finns inget separat valideringssteg. Gatewayen sätter upp anslutningen när du skapar leverantören. Efter att du lagt till en modell kan du uppdatera dess autentisering eller policyer, eller ta bort den när den inte längre behövs.

Efter att modellen har lagts till, skicka en testförfrågan via gateway-endpointen:

curl "https://<gateway>.azure-api.net/default/models/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{
    "model": "gpt-5.6-sol",
    "messages": [
      { "role": "user", "content": "Write a one-sentence status update." }
    ]
  }'

Om du inte har skapat en runtime-åtkomstnyckel än, skapa en från nycklar-sidan . Applikationer behöver inte direkta leverantörsuppgifter. Använd övervakningsvyer för att granska förfrågningsvolym, latens, tokenanvändning och fel efter modellnamn.

Anthropic Messages API-vidarebefordran

Olika leverantörer exponerar olika API-format. Gatewayen betjänar varje format på sin egen väg under /default/models. Anthropic-modeller använder Anthropic Messages API i passthrough-läge. Gatewayen bevarar det inbyggda Anthropic Messages-förfrågnings- och svarformatet och vidarebefordrar samtal till Anthropic på /default/models/anthropic/v1/messages. Använd det när applikationer redan använder Anthropic SDK eller /v1/messages.

För att lägga till en Anthropic-modell, välj Lägg till modeller>Lägg till en anpassad modell:

  1. På Provider, ange ett visningsnamn och leverantörsnamn för Anthropic.
  2. På Endpoint, ställ in bas-endpoint-URL:en till https://api.anthropic.com, ställ in autentiseringshuvudets namn till x-api-key, och ange Anthropic API-nyckeln. Gatewayen lagrar nyckeln och injicerar den på backend-anrop.
  3. På Models, ange namnet på Anthropic-modellen som anropare skickar (såsom claude-fable-5), och välj Anthropic-meddelandets endpoint.
  4. Välj Skapa. Gatewayen erbjuder vidarebefordran för Anthropic Messages på /default/models/anthropic/v1/messages.

Klienterna anropar gateway-vägen. Gatewayen lagrar legitimationen, injicerar backend x-api-keyoch vidarebefordrar anroparens anthropic-version header till Anthropic.

curl -X POST "https://<gateway>.azure-api.net/default/models/anthropic/v1/messages" \
  -H "Content-Type: application/json" \
  -H "anthropic-version: 2023-06-01" \
  -H "api-key: <runtime-access-key>" \
  -d '{"model":"claude-fable-5","max_tokens":256,"messages":[{"role":"user","content":"Write a product description for a trail running backpack."}]}'

Anthropic Python SDK fungerar när du pekar base_url mot gateway-sökvägen. Som standard skickar standard-SDK:t autentiseringsuppgiften i headern x-api-key, så ange gateway-runtime-åtkomstnyckeln i headern api-key med hjälp av default_headers. Värdet api_key="unused" uppfyller endast SDK:ns nödvändiga argument; gatewayen ignorerar det och injicerar den lagrade backend-Anthropic-nyckeln. Ange model som namnet på Anthropic-modellen.

from anthropic import Anthropic

client = Anthropic(api_key="unused", base_url="https://<gateway>.azure-api.net/default/models/anthropic", default_headers={"api-key": "<runtime-access-key>"})
message = client.messages.create(model="claude-fable-5", max_tokens=256, messages=[{"role":"user","content":"Hello"}])
print(message.content[0].text)

Validera timeouts och hantering av svar innan produktion, särskilt om policys inspekterar instanser.

Lägga till MCP-servrar

AI Gateway-nivån gör det möjligt för plattformsteam att publicera MCP-servrar bakom en styrd MCP-endpoint. Konfigurationsarbetsflödet är: skapa en MCP-server, koppla till en eller flera backends, och exponera utvalda backend-funktioner som verktyg. En enda MCP-server kan kombinera tre typer av backends: fjärrstyrda MCP-servrar (via URL), verktyg genererade från en OpenAPI-specifikation och inbyggda kopplingar för vanliga SaaS-appar (mer än 1 000 förbyggda integrationer, utan server att hosta).

Använd MCP-servrar när agenter behöver anropa affärssystem, utvecklarverktyg, kunskapsmagasin eller interna API:er. Agenter autentiserar sig en gång till gatewayen och behöver inte separata uppgifter för varje backend. För varje backend väljer du hur gatewayen autentiseras mot den: Ingen, API-nyckel, OAuth 2.0 eller Managed identity.

En enda MCP-server federerar en eller flera backends. Varje backend bidrar med verktyg, och gatewayen ger verktygen från respektive backend ett namnrymdsprefix med backendens namn så att verktyg med samma namn från olika backends inte orsakar namnkonflikter. Till exempel exponeras ett create_issue verktyg från en backend med namnet github för agenter under github namnrymden, vilket skiljer sig från ett create_issue verktyg på en annan backend.

Serverdelstyp Använd när Input Gateway-resultat
MCP-server Du är redan värd för en fjärr-MCP-endpoint URL för MCP-slutpunkt (SSE eller strömmande HTTP) Den fjärrstyrda serverns verktyg, federerade via den styrda ändpunkten
OpenAPI-specifikation Du har ett REST-API som agenter ska anropa som verktyg OpenAPI-dokument (uppladdning, URL eller inline-inklisning) MCP-verktyg som genereras från de operationer du väljer
Inbyggd anslutning Du behöver en gemensam SaaS-app utan att hosta en server Val av kontakt och anslutningsinstallation Anslutningens åtgärder, som exponeras som MCP-verktyg

Varje källa bidrar med verktyg på olika sätt:

  • MCP-server — federerar verktygen från en fjärransluten MCP-endpoint som du redan hostar.
  • OpenAPI-specifikation — omvandlar de API-operationer du väljer till verktyg; operationens sammanfattning eller beskrivning blir verktygsbeskrivningen.
  • Inbyggd koppling — använder en hanterad anslutning till en SaaS-app som Office 365, SharePoint, GitHub eller Salesforce. OAuth-anslutningar begär samtycke när du konfigurerar anslutningen.

Anmärkning

Under offentlig förhandsvisning kan stödda transporter, värdfunktioner och begränsningar variera beroende på region. Kontrollera förhandsregistreringsdetaljerna för din prenumeration innan du flyttar produktionstrafiken.

För att skapa en MCP-server:

  1. I AI Gateway-tierportalen, välj MCP-servrar.
  2. Välj Lägg till MCP-server.
  3. På Source, välj en backend-typ att börja med: MCP-server, OpenAPI-specifikation eller Built-in connector. Du kan lägga till fler backends efteråt.
  4. Ge backend ett unikt namn. Gatewayen prefixar backends verktyg med namnet i den kombinerade MCP-servern.
  5. Konfigurera backend och välj hur gatewayen autentiserar sig för den: None, API Key, OAuth 2.0 eller Managed identity. För API-nyckel, ange headernamnet och värdet; Värden krypteras i vila.
  6. För att federera fler tjänster bakom samma endpoint, lägg till en extra backend och upprepa.
  7. Välj Bekräfta och sedan Skapa.

Det finns inget separat anslutningsteststeg. Gatewayen sätter upp och kontrollerar varje backend när du skapar servern.

Gatewayen skapar en MCP-endpoint som federerar alla valda backends. Klienter anropar den styrda endpointen och autentisera sig med en runtime-åtkomstnyckel.

Anmärkning

OAuth 2.0 backend-autentisering (förhandsgranskningsbegränsning). För en backend som använder OAuth 2.0 gör du en interaktiv inloggning för att auktorisera gatewayen till den backend. Gatewayen rapporterar inte verifierad auktorisationsstatus tillbaka till portalen, så efter att inloggningsfönstret bekräftat slutförande, bekräfta resultatet i portalen när du blir tillfrågad. Statusen som visas för backend är självrapporterad—verifiera att backends verktyg finns på MCP-servern och återanslut för att logga in igen om de inte gör det.

Agenter anropar MCP-servern på:

https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp

Skicka runtime-åtkomstnyckeln i api-key headern. Peka vilket MCP-kompatibelt klient- eller agentramverk som helst mot den här URL:en. Till exempel, lista de tillgängliga verktygen med en JSON-RPC tools/list begäran:

curl "https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{ "jsonrpc": "2.0", "id": 1, "method": "tools/list" }'

Om ett system har ett REST-API men ingen MCP-server, importera dess OpenAPI-beskrivning. Välj operationer att exponera som verktyg, redigera verktygsnamn och beskrivningar, konfigurera en stödd autentiseringsmetod i backend och skapa MCP-tillgången. Gatewayen mappar verktygsanrop till REST-operationer.

Använd gatewayen för MCP-servrar för att centralisera:

  • Upptäck — ge utvecklare och agenter en katalog över godkända MCP-servrar.
  • Autentisering — klienter autentiserar sig mot gatewayen. Gatewayen lagrar backend-inloggningsuppgifter, så klientkonfigurationen innehåller inga upstream-hemligheter.
  • Verktygsexponering — välj vilka backend-operationer varje server publicerar som verktyg. I förhandsgranskning kan varje runtime-åtkomstnyckel anropa alla publicerade tillgångar i gatewayen.
  • Observabilitet — gatewayen sänder OpenTelemetry (OTLP)-tokenanvändningsmått för modelltrafik, vilka du kan skicka till Application Insights eller en annan OTLP-destination. Övervakning av MCP-verktygets trafik (förfrågningsvolym, latens och fel) finns tillgänglig i portalen när du använder Application Insights; OpenTelemetry (OTLP) export för MCP-verktygstrafik är ännu inte tillgänglig.
  • Styrning — tillämpa samma policyer på MCP-trafik som du använder för modeller, såsom hastighetsgränser och innehållssäkerhet.

Efter att du skapat servern, konfigurera runtime-åtkomst innan du delar den. Lägg till policyer som innehållssäkerhet, IP-filter samt gränser för token- och begäransökningsfrekvens, begränsade till gatewayen eller specifika publicerade tillgångar.

Relaterat innehåll

  • Last updated on