Een geïntegreerde model-API maken en beheren

U kunt een geïntegreerde model-API maken in Azure API Management om meerdere LLM-back-ends beschikbaar te maken via één clientgericht eindpunt. Clienttoepassingen gebruiken één vertrouwde API-indeling, de Api voor voltooiing van de OpenAI-chat, terwijl API Management automatisch aanvragen vertaalt naar de back-endmodellen met behulp van de API voor Voltooiingen van OpenAI Chat of Anthropic Messages-API.

Note

De geïntegreerde model-API is in preview en wordt momenteel geïmplementeerd voor klanten. In de klassieke lagen is vroege toegang tot deze functie beschikbaar via het AI Gateway Early Release-kanaal.

Door modeltoegang achter één API-laag te centraliseren, kunt u het volgende doen:

Standaardiseren op één API-indeling voor clients onafhankelijk van de indelingen die worden gebruikt door back-endmodellen.
De waarneembaarheid, beveiliging en governance samenvoegen met beleidsregels tussen modelproviders.
Configureer modelfailover tussen modelproviders.
Koppel clientgerichte modelnamen los van back-endmodelnamen met behulp van aliassen.

Zie AI-gatewaymogelijkheden in Azure API Management voor meer informatie over het beheren van AI-API's in API Management.

Ondersteunde backends

De geïntegreerde model-API ondersteunt de volgende back-end-API-indelingen:

Api voor voltooiing van OpenAI-chat
API voor antropische berichten

Prerequisites

Een bestaand API Management-exemplaar. Maak er een als u dat nog niet hebt gedaan.
Een of meer modelimplementaties in een ondersteunde back-end.
Zie Aangepaste metrische gegevens verzenden voor vereisten om het gebruik van tokens door de API bij te houden.
Zie Inhoudsveiligheidscontroles afdwingen voor LLM-aanvragen voor vereisten om inhoudsveiligheidscontroles af te dwingen voor de API.

Een geïntegreerde model-API maken - Azure-portal

Gebruik de volgende stappen om een geïntegreerde model-API te maken in API Management.

Wanneer u de API maakt, configureert API Management het volgende automatisch:

Een /models eindpunt voor modeldetectie waarin alle geconfigureerde modellen worden weergegeven.
Eén routeringseindpunt, zoals /llm/v1/chat/completions dat aanvragen accepteert in de openAI-chatvoltooiingsindeling.
Vertaallogica opmaken voor elk back-endmodel dat u toevoegt.
Back-endbronnen die aanvragen omsturen naar het juiste providereindpunt.

Een geïntegreerde model-API maken:

Navigeer in de Azure portal naar uw API Management-instantie.
Selecteer in het zijbalkmenu onder API'smodellen>+Unified model-API>.
Op het tabblad Unified Model-API configureren :
1. Voer een weergavenaam in voor de API. API Management genereert automatisch een API-naam op basis van de weergavenaam, maar u kunt deze desgewenst bewerken.
2. Voer in het API-pad het pad in dat clients gebruiken om de API aan te roepen. De standaardwaarde is /llm/v1, wat resulteert in een eindpunt voor voltooiing van een chat op /llm/v1/chat/completions.
3. Selecteer eventueel een of meer producten die u aan de API wilt koppelen.
4. Kies Volgende.
Selecteer + Toevoegen op het tabblad Modellen configureren om het deelvenster Model toevoegen te openen en configureer vervolgens de volgende instellingen voor elke modelimplementatie:
1. Onder backendconfiguratie:
  - Voer in Model de naam van het back-endmodel in (bijvoorbeeld gpt-4o ).claude-sonnet-4.6
  - Selecteer in API-indeling de indeling die het back-endmodel verwacht, zoals OpenAI Chat Completions API of Anthropic Messages-API.
  - Voer in URL de URL van het back-endeindpunt in, bijvoorbeeld een modelimplementatie in Foundry of, voor andere providers, de API-eindpunt-URL van de provider.
2. Selecteer onder Autorisatiereferenties hoe API Management wordt geverifieerd bij de back-end:
  - Headers: Voer een headernaam (bijvoorbeeld api-key of Authorization) en de bijbehorende headerwaarde (uw API-sleutel of geheim) in.
  - Managed Identity: Voor modelimplementaties in Azure kunt u de door het systeem toegewezen beheerde identiteit of een door de gebruiker toegewezen beheerde identiteit gebruiken om te verifiëren bij de back-end.
  Raadpleeg voor een uitleg van de instellingen voor de beheerde identiteit de referentie voor het beleid authentication-managed-identity.
Configureer op het tabblad Tokenverbruik beheren desgewenst het volgende beleid om het gebruik van tokens te controleren en te beheren:
- Tokenverbruik beheren
- Tokengebruik bijhouden
Configureer op het tabblad Set up AI Content Safety de Azure AI Content Veiligheid-service om prompts met onveilige inhoud te blokkeren:
- inhoudsveiligheidscontroles afdwingen op LLM-aanvragen
Selecteer Beoordelen + creëren en selecteer daarna Creëren.

Modelaliassen beheren

Modelaliassen geven clients een stabiele, providerneutrale naam die moet worden gebruikt bij het aanroepen van een model. Door een alias toe te wijzen zoals gpt of claude-sonnet, koppelt u de naam van het clientgerichte model los van de werkelijke back-endimplementatie. Wanneer u een model bijwerkt of een A/B-test wilt uitvoeren, kunt u het aliasdoel bijwerken zonder wijzigingen in clientcode.

Een modelalias bijwerken of toevoegen

Een modelalias bijwerken na het maken van de geïntegreerde model-API:

Ga in de Azure-portal naar uw API Management-exemplaar en selecteer vervolgens APIs.
Selecteer de geïntegreerde model-API.
Selecteer het tabblad Modellen om een modelalias bij te werken of toe te voegen.
- Als u een clientgerichte alias wilt bijwerken, selecteert u de alias die u wilt bijwerken en werkt u vervolgens de back-endconfiguratie bij om het back-endmodel op te geven. Autorisatiereferenties toevoegen voor de nieuwe back-end.
- Als u een nieuw model wilt toevoegen, selecteert u + Toevoegen en configureert u de backend-, autorisatie- en clientinstellingen zoals beschreven in de vorige paragraaf.
Selecteer Opslaan.

Modelaliassen ontdekken

Ontwikkelaars kunnen beschikbare modellen en hun aliassen detecteren door het /models eindpunt van de geïntegreerde model-API aan te roepen. API Management retourneert een lijst met modellen met hun clientgerichte aliassen.

De API aanroepen vanuit een clienttoepassing

Clienttoepassingen kunnen de geïntegreerde model-API aanroepen met behulp van een openAI-compatibele SDK. Wijs de basis-URL van de SDK aan op uw API Management-eindpunt en gebruik een API Management-abonnementssleutel of een andere ondersteunde verificatiemethode voor verificatie.

In het volgende voorbeeld wordt de Python OpenAI SDK gebruikt en wordt een API Management-abonnementssleutel doorgegeven in de header voor verificatie. De aanvraagbody geeft een clientgerichte modelalias op die is geconfigureerd in API Management, bijvoorbeeld gpt of claude-sonnet.:

from openai import OpenAI

client = OpenAI(
    base_url="https://<apim-instance>.azure-api.net/llm/v1",
    api_key="<api-management-subscription-key>",
)

# Specify the client-facing model alias
response = client.chat.completions.create(
    model="gpt",  # or "claude-sonnet", "gemini", or any other configured alias
    messages=[{"role": "user", "content": "What can you do?"}],
)
print(response.choices[0].message.content)

Als u wilt overschakelen naar een ander back-endmodel, wijzigt u alleen de model waarde. Er zijn geen andere codewijzigingen vereist.

Feedback

Is deze pagina nuttig?

Last updated on 2026-06-03