Skapa och hantera ett enhetligt modell-API

GÄLLER FÖR: Utvecklare | Grundläggande | Basic v2 | Standard | Standard v2 | Premium | Premium v2

Du kan skapa ett enhetligt modell-API i Azure API Management för att exponera flera LLM-serverdelar via en enda klientriktad slutpunkt. Klientprogram använder ett välbekant API-format – API:et för slutförande av OpenAI-chatt – medan API Management automatiskt översätter begäranden till serverdelsmodellerna med hjälp av API:et för slutförande av OpenAI-chatt eller api för Anthropic-meddelanden.

Note

DET enhetliga modell-API:et är i förhandsversion och lanseras för närvarande till kunder. På de klassiska nivåerna är tidig åtkomst till den här funktionen tillgänglig via ai-gatewayens tidiga lanseringskanal.

Genom att centralisera modellåtkomsten bakom ett enda API-lager kan du:

  • Standardisera på ett enda API-format för klienter oberoende av de format som används av serverdelsmodeller.
  • Förena observerbarhet, säkerhet och styrning med principer mellan modellleverantörer.
  • Konfigurera modellredundans mellan modellprovidrar.
  • Frikoppla klientriktade modellnamn från serverdelsmodellnamn med hjälp av alias.

Mer information om hur du hanterar AI-API:er i API Management finns i AI-gatewayfunktioner i Azure API Management.

Backendar som stöds

API:et för enhetlig modell stöder följande serverdels-API-format:

  • API för slutförande av OpenAI-chatt
  • API för antropiska meddelanden

Förutsättningar

Skapa ett enhetligt modell-API – Azure portalen

Använd följande steg för att skapa ett enhetligt modell-API i API Management.

När du skapar API:et konfigurerar API Management automatiskt:

  • En /models slutpunkt för modellidentifiering som visar alla konfigurerade modeller.
  • En enda routningsslutpunkt, till exempel /llm/v1/chat/completions som accepterar begäranden i formatet OpenAI Chat Completions.
  • Formatera översättningslogik för varje serverdelsmodell som du lägger till.
  • Serverdelsresurser som dirigerar begäranden till rätt providerslutpunkt.

Så här skapar du ett enhetligt modell-API:

  1. I Azure-portalen går du till din API Management-instans.

  2. I sidomenyn under API:er väljer du Modeller>+ Lägg till>API för enhetlig modell.

    Skärmbild av api-panelen för enhetlig modell i Azure portal.

  3. På fliken Konfigurera api för enhetlig modell :

    1. Ange ett visningsnamn för API:et. API Management genererar automatiskt ett API-namn baserat på visningsnamnet, men du kan redigera det om du vill.
    2. I API-sökvägen anger du den sökväg som klienter använder för att anropa API:et. Standardvärdet är /llm/v1, vilket resulterar i en slutpunkt för chattens slutförande på /llm/v1/chat/completions.
    3. Du kan också välja en eller flera produkter som ska associeras med API:et.
    4. Klicka på Nästa.

  4. På fliken Konfigurera modeller väljer du + Lägg till för att öppna fönstret Lägg till modell och konfigurerar sedan följande inställningar för varje modelldistribution:

    1. Under Backend-konfiguration:

      • I Modell anger du namnet på serverdelsmodellen (till exempel gpt-4o eller claude-sonnet-4.6).
      • I API-format väljer du det format som serverdelsmodellen förväntar sig, till exempel OpenAI Chat Completions API eller Anthropic Messages API.
      • I URL anger du serverdelsslutpunktens URL, till exempel en modelldistribution i Foundry eller, för andra leverantörer, leverantörens API-slutpunkts-URL.

    2. Under Autentiseringsuppgifter för auktorisering väljer du hur API Management autentiserar till serverdelen:

      • Rubriker: Ange ett rubriknamn (till exempel api-key eller Authorization) och motsvarande rubrikvärde (din API-nyckel eller hemlighet).
      • Hanterad identitet: För modelldistributioner i Azure kan du använda instansens systemtilldelade hanterade identitet eller en användartilldelad hanterad identitet för att autentisera till serverdelen.

      En beskrivning av inställningarna för den hanterade identiteten finns i referensen för principen authentication-managed-identity.

    Skärmbild av fönstret Lägg till modell för att lägga till modellinställningar i portalen.

  5. På fliken Hantera tokenförbrukning kan du välja att konfigurera följande principer för att övervaka och hantera tokenanvändning:

  6. På fliken Set up AI content safety kan du konfigurera Azure AI Innehållsäkerhet-tjänsten för att blockera frågor med osäkert innehåll:

  7. Välj Granska + skapaoch välj sedan Skapa.

Hantera modellalias

Modellalias ger klienter ett stabilt, providerneutralt namn att använda när en modell anropas. Genom att tilldela ett alias som gpt eller claude-sonnetfrikopplar du det klientriktade modellnamnet från den faktiska serverdelsdistributionen. När du uppgraderar en modell eller vill köra ett A/B-test kan du uppdatera aliasmålet utan några ändringar i klientkoden.

Uppdatera eller lägga till ett modellalias

Så här uppdaterar du ett modellalias när du har skapat api:et för enhetlig modell:

  1. I Azure-portalen går du till din API Management-instans och väljer sedan APIs.
  2. Välj API:et för enhetlig modell.
  3. Välj fliken Modeller för att uppdatera eller lägga till ett modellalias.
    • Om du vill uppdatera ett klientanslutet alias väljer du det alias som du vill uppdatera och uppdaterar sedan serverdelskonfigurationen för att ange serverdelsmodellen. Lägg till auktoriseringsuppgifter för den nya backenden.
    • Om du vill lägga till en ny modell väljer du + Lägg till och konfigurerar serverdels-, auktoriserings- och klientinställningarna enligt beskrivningen i föregående avsnitt.
  4. Välj Spara.

Upptäck modellalias

Utvecklare kan identifiera tillgängliga modeller och deras alias genom att anropa slutpunkten för /models API:et för enhetlig modell. API Management returnerar en lista över modeller med sina klientriktade alias.

Anropa API:et från ett klientprogram

Klientprogram kan anropa API:et för enhetlig modell med hjälp av alla OpenAI-kompatibla SDK:er. Peka SDK:ns bas-URL på API Management-slutpunkten och använd en API Management-prenumerationsnyckel eller en annan autentiseringsmetod som stöds för autentisering.

I följande exempel används OpenAI:s Python-SDK, och en API Management-prenumerationsnyckel skickas i headern för autentisering. Begärandetexten anger ett klientanslutet modellalias som konfigurerats i API Management, till exempel gpt eller claude-sonnet.:

from openai import OpenAI

client = OpenAI(
    base_url="https://<apim-instance>.azure-api.net/llm/v1",
    api_key="<api-management-subscription-key>",
)

# Specify the client-facing model alias
response = client.chat.completions.create(
    model="gpt",  # or "claude-sonnet", "gemini", or any other configured alias
    messages=[{"role": "user", "content": "What can you do?"}],
)
print(response.choices[0].message.content)

Om du vill växla till en annan serverdelsmodell ändrar du bara värdet model . Inga andra kodändringar krävs.

Relaterat innehåll

  • Last updated on