Zarządzanie modelami i narzędziami w warstwie AI Gateway (podgląd)

DOTYCZY: warstwa AI Gateway (wersja zapoznawcza)

Użyj warstwy AI Gateway (podgląd), aby zarządzać modelami i narzędziami wywoływanymi przez aplikacje i agentów. Importuj modele, aby zapewnić jeden zarządzany punkt końcowy dla żądań modeli. Dodaj serwery MCP, aby udostępnić zatwierdzone narzędzia za pomocą zarządzanego punktu końcowego Model Context Protocol (MCP). Aplikacje i agenci uwierzytelniają się do bramy za pomocą kluczy dostępu w czasie rzeczywistym. Brama korzysta z uwierzytelniania backendowego, które konfigurujesz dla każdego dostawcy modelu lub narzędzia.

Wymagania wstępne

• Instancja poziomu AI Gateway.

• Uprawnienia do zarządzania instancją AI Gateway tier.

• Dostęp do modelu dostawcy lub backendu, który planujesz dodać.

• Do uwierzytelniania zaplecza przy użyciu tożsamości zarządzanej wymagane jest uprawnienie do przypisania wymaganej roli do zasobu zaplecza.

  Caution

  Zagadnienia dotyczące zabezpieczeń: Użytkownicy z uprawnieniami do edytowania zasad usługi API Management mogą używać tych zasad do uwierzytelniania jako tożsamości zarządzanej usługi. Nie mogą jednak uzyskać bezpośredniego dostępu do zasobów bez uprzedniego przypisania tożsamości zarządzanej do wystąpienia usługi API Management. Po przypisaniu zarządzanej tożsamości użytkownicy potrafiący modyfikować polityki mogą móc wydobyć token uwierzytelniający, przekazać go do backendu lub zarejestrować do późniejszego użytku. Aby uzyskać szczegółowe wskazówki dotyczące zabezpieczeń i strategie ograniczania ryzyka, zobacz Zagadnienia dotyczące zabezpieczeń tożsamości zarządzanych w omówieniu tożsamości zarządzanej.

Importowanie modeli

Użyj kreatora Dodaj modeli, aby połączyć warstwę AI Gateway z Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex, OpenAI, Anthropic lub niestandardowymi endpointami. Brama obsługuje każdy model na punktach końcowych obsługiwanych przez backend, pod prefiksem https://<gateway>.azure-api.net/default/models. Kolejnym segmentem ścieżki jest format API dostawcy. Na przykład modele kompatybilne z OpenAI są udostępniane pod adresem .../default/models/openai/v1 (takie jak /chat/completions i /responses), a modele Anthropic pod adresem .../default/models/anthropic/v1/messages. Pola połączenia, których wymaga wizard, różnią się w zależności od dostawcy.

Wybierz Import from Foundry, gdy Twój model działa w zasobach Microsoft Foundry, które obejmują wdrożenia Azure OpenAI i Azure AI Services. Czarodziej automatycznie wykrywa rozmieszczenia zasobu. Wybierz Dodaj niestandardowy model dla AWS Bedrock, Google Vertex, OpenAI, Anthropic lub dowolnego innego obsługiwanego punktu końcowego, w którym samodzielnie podajesz nazwę punktu końcowego i modelu.

Używaj tożsamości zarządzanej, gdy dostawca obsługuje uwierzytelnianie backendowe Microsoft Entra ID, na przykład Microsoft Foundry. Przed importem przypisz tożsamości bramy wymaganą rolę dla zasobu zaplecza. W przeciwnym razie podczas importu podaj klucz API lub sekret dostawcy. Brama przechowuje i chroni dane uwierzytelniające.

Osoby wywołujące odwołują się do modelu, używając jego nazwy w polu model:

{
  "model": "gpt-5.6-sol",
  "messages": [
    {
      "role": "user",
      "content": "Summarize the incident report."
    }
  ]
}

Wartość model ta to nazwa modelu nadana przez importowany model.

Aby dodać modele, otwórz stronę Modele i wybierz Dodaj modele. Wybierz, jak chcesz się połączyć.

Import z Microsoft Foundry

1. Wybierz Import from Foundry.
2. W opcji Wybierz zasób wybierz subskrypcję i zasób Foundry. Kreator wymienia wdrożenia modeli w tym zasobie.
3. W szczegółach dostawcy wpisz nazwę dostawcy i nazwę wyświetlaną, dodaj opcjonalny opis i wybierz metodę uwierzytelniania – Tożsamość zarządzaną (zalecaną, gdy dostępna) lub opartą na kluczach.
4. Wybierz Utwórz. Brama importuje wdrożenia zasobu jako modele, których wywołujący żądają po nazwie.

Dodawanie modelu niestandardowego

1. Wybierz pozycję Dodaj model niestandardowy.
2. W Dostawcy wpisz nazwę wyświetlaną, nazwę dostawcy oraz opcjonalny opis.
3. Na Endpoint wpisz bazowy adres URL endpoint, nazwę nagłówka uwierzytelniania (na przykład Authorization), oraz klucz API.
4. W Models wpisz nazwę każdego modelu i wybierz obsługiwane endpointy – zakończenia czatu OpenAI, odpowiedzi OpenAI, wiadomości Anthropic lub Inne. Wybierz Dodaj model dla każdego zdefiniowanego modelu.
5. Wybierz Utwórz.

Nie ma osobnego etapu weryfikacji. Brama konfiguruje połączenie, gdy tworzysz dostawcę. Po dodaniu modelu możesz zaktualizować jego uwierzytelnianie lub polityki, albo usunąć go, gdy nie jest już potrzebny.

Po dodaniu modelu wyślij żądanie testowe przez punkt końcowy bramy:

curl "https://<gateway>.azure-api.net/default/models/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{
    "model": "gpt-5.6-sol",
    "messages": [
      { "role": "user", "content": "Write a one-sentence status update." }
    ]
  }'

Jeśli jeszcze nie utworzyłeś klucza dostępu w czasie rzeczywistym, stwórz go ze strony Klucze . Aplikacje nie potrzebują bezpośrednich danych uwierzytelniających dostawcy. Użyj widoków monitorowania, aby przeglądać wolumen żądań, opóźnienia, zużycie tokenów oraz błędy według nazwy modelu.

Przekazywanie przez API Anthropic Messages

Różni dostawcy udostępniają różne formaty API. Brama obsługuje każdy format na jego własnej ścieżce pod ./default/models Modele Anthropic korzystają z API Anthropic Messages w trybie passthrough. Brama zachowuje natywny format żądań i odpowiedzi Anthropic Messages i przekazuje połączenia do Anthropic pod adresem /default/models/anthropic/v1/messages. Używaj go, gdy aplikacje już korzystają z Anthropic SDK lub /v1/messages.

Aby dodać model Anthropic, użyj Dodaj modele>Dodaj niestandardowy model:

1. W Provider wpisz nazwę wyświetlaną i nazwę dostawcy dla Anthropic.
2. W polu Endpoint ustaw bazowy adres URL punktu końcowego na https://api.anthropic.com, ustaw nazwę nagłówka uwierzytelniania na x-api-key i wprowadź klucz API Anthropic. Brama przechowuje klucz i wstrzykuje go podczas wywołań backendowych.
3. W Models wpisz nazwę modelu Anthropic, którą wysyłają wywołujący (np. claude-fable-5), i wybierz końcowy komunikat Anthropic.
4. Wybierz Utwórz. Brama obsługuje przejście Anthropic Messages pod adresem /default/models/anthropic/v1/messages.

Klienci nazywają ścieżkę bramy. Brama przechowuje dane uwierzytelniające, wprowadza backend x-api-keyi przekazuje nagłówek dzwoniącego anthropic-version do Anthropic.

curl -X POST "https://<gateway>.azure-api.net/default/models/anthropic/v1/messages" \
  -H "Content-Type: application/json" \
  -H "anthropic-version: 2023-06-01" \
  -H "api-key: <runtime-access-key>" \
  -d '{"model":"claude-fable-5","max_tokens":256,"messages":[{"role":"user","content":"Write a product description for a trail running backpack."}]}'

SDK Anthropic Python działa, gdy wskażesz base_url ścieżkę bramy. Domyślnie standardowe SDK wysyła dane uwierzytelniające w nagłówku x-api-key , więc przekazuje się klucz dostępu do gateway runtime w nagłówku api-key za pomocą default_headers. Wartość api_key="unused" służy jedynie do spełnienia wymogu pakietu SDK dotyczącego obowiązkowego argumentu; bramka ją ignoruje i podstawia zapisany w backendzie klucz Anthropic. Ustaw model na nazwę modelu Anthropic.

from anthropic import Anthropic

client = Anthropic(api_key="unused", base_url="https://<gateway>.azure-api.net/default/models/anthropic", default_headers={"api-key": "<runtime-access-key>"})
message = client.messages.create(model="claude-fable-5", max_tokens=256, messages=[{"role":"user","content":"Hello"}])
print(message.content[0].text)

Waliduj limity czasu i obsługę odpowiedzi przed produkcją, zwłaszcza jeśli polityki kontrolują instytucje.

Dodawanie serwerów MCP

Poziom AI Gateway umożliwia zespołom platformowym publikowanie serwerów MCP za pośrednictwem jednego zarządzanego punktu końcowego MCP. Workflow konfiguracji to: utworzenie serwera MCP, podłączenie jednego lub więcej backendów oraz udostępnienie wybranych funkcji backendu jako narzędzi. Pojedynczy serwer MCP może łączyć trzy typy backendów: zdalne serwery MCP (według URL), narzędzia generowane na podstawie specyfikacji OpenAPI oraz wbudowane konektory dla popularnych aplikacji SaaS (ponad 1000 gotowych integracji, bez serwera do hostowania).

Korzystaj z serwerów MCP, gdy agenci muszą wywołać systemy biznesowe, narzędzia deweloperskie, magazyny wiedzy lub wewnętrzne API. Agenty uwierzytelniają się raz w bramie i nie potrzebują oddzielnych danych uwierzytelniających dla każdego systemu backendowego. Dla każdego backendu wybierasz, jak gateway się do niego uwierzytelnia: brak, klucz API, OAuth 2.0 lub tożsamość zarządzaną.

Pojedynczy serwer MCP federuje jeden lub więcej backendów. Każdy backend udostępnia narzędzia, a gateway przypisuje narzędziom każdego backendu przestrzeń nazw opartą na nazwie backendu, aby identycznie nazwane narzędzia z różnych backendów nie powodowały konfliktów. Na przykład narzędzie create_issue z backendu o nazwie github jest udostępniane agentom w przestrzeni nazw github, odrębnej od przestrzeni nazw narzędzia create_issue w innym backendzie.

Każde źródło dostarcza narzędzia inaczej:

• Serwer MCP — federuje narzędzia z zdalnego punktu końcowego MCP, który już hostujesz.
• Specyfikacja OpenAPI — zamienia wybrane operacje API w narzędzia; Podsumowanie lub opis operacji staje się opisem narzędzia.
• Wbudowane złącze — korzysta z zarządzanego połączenia z aplikacją SaaS, taką jak Office 365, SharePoint, GitHub lub Salesforce. Złącza OAuth proszą o zgodę podczas konfigurowania połączenia.

Aby utworzyć serwer MCP:

1. W portalu AI Gateway tier wybierz serwery MCP.
2. Wybierz Dodaj serwer MCP.
3. W Source wybierz typ backendu na początek: serwer MCP, specyfikację OpenAPI lub wbudowany konektor. Możesz potem dodać więcej backendów.
4. Nadaj backendowi unikalną nazwę. Brama dodaje do narzędzi tego backendu prefiks w postaci nazwy z połączonego serwera MCP.
5. Skonfiguruj backend i wybierz, w jaki sposób brama uwierzytelnia się względem niego: Brak, Klucz API, OAuth 2.0 lub Tożsamość zarządzana. Dla API Key wprowadź nazwę nagłówka i jego wartość; wartości są szyfrowane podczas przechowywania.
6. Aby zfederować więcej usług za tym samym punktem końcowym, dodaj kolejny backend i powtarzaj procedurę.
7. Wybierz Potwierdź, a następnie Utwórz.

Nie ma osobnego etapu testu łączności. Brama konfiguruje i sprawdza każdy backend podczas tworzenia serwera.

Brama tworzy jeden punkt końcowy MCP, który federuje wszystkie wybrane backendy. Klienci wywołują zarządzany punkt końcowy i uwierzytelniają się za pomocą klucza dostępu w czasie uruchomienia.

Agenci dzwonią do serwera MCP pod adresem:

https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp

Wyślij klucz dostępu w czasie rzeczywistym w nagłówku api-key . Skieruj dowolny framework klienta lub agenta kompatybilny z MCP na ten adres URL. Na przykład wyświetl listę dostępnych narzędzi za pomocą żądania JSON-RPC tools/list:

curl "https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{ "jsonrpc": "2.0", "id": 1, "method": "tools/list" }'

import requests

url = "https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp"
response = requests.post(
    url,
    headers={"api-key": "<runtime-access-key>", "Content-Type": "application/json"},
    json={"jsonrpc": "2.0", "id": 1, "method": "tools/list"},
)
print(response.json())

Jeśli system ma REST API, ale nie ma serwera MCP, zaimportuj jego opis OpenAPI. Wybierz operacje do udostępnienia jako narzędzi, edytuj nazwy i opisy narzędzi, konfiguruj obsługiwaną metodę uwierzytelniania backendowego oraz stwórz asset MCP. Narzędzie gateway mapuje wywołania do operacji REST.

Użyj bramy dla serwerów MCP, aby scentralizować:

• Discovery — udostępnij jeden katalog zatwierdzonych serwerów MCP dla deweloperów i agentów.
• Uwierzytelnianie — klienci uwierzytelniają się do bramy. Brama przechowuje dane uwierzytelniające w backendzie, więc konfiguracja klienta nie zawiera sekretów upstream.
• Ekspozycja narzędzi — wybieraj, które operacje backendowe każdy serwer publikuje jako narzędzia. W wersji podglądowej każdy klucz dostępu środowiska uruchomieniowego może wywoływać wszystkie opublikowane zasoby za pośrednictwem bramy.
• Obserwacja — brama generuje metryki wykorzystania tokenów OpenTelemetry (OTLP) dla ruchu modelowego, które możesz przesłać do Application Insights lub innego miejsca OTLP. Monitorowanie ruchu narzędziem MCP (wolumen żądań, opóźnienia i błędy) jest dostępne w portalu, gdy korzystasz z Application Insights; Eksport OpenTelemetry (OTLP) dla ruchu narzędzi MCP nie jest jeszcze dostępny.
• Zarządzanie — stosuj te same polityki do ruchu MCP, co w modelach, takich jak limity prędkości i bezpieczeństwo treści.

Po utworzeniu serwera skonfiguruj dostęp do czasu uruchomieniowego przed udostępnieniem go. Dodaj polityki takie jak bezpieczeństwo treści, filtry IP oraz limity liczby tokenów i żądań, dostosowane do bramy lub konkretnych opublikowanych zasobów.

Treści powiązane

• Przegląd poziomu AI Gateway
• Szybki start: Stwórz instancję AI Gateway tier
• Zarządzaj, zabezpieczaj i obsługuj poziom AI Gateway
• Konfigurowanie sieci prywatnej