Pojęcia dotyczące AI Gateway

DOTYCZY: AI Gateway (podgląd)

Ważna

AI Gateway jest obecnie dostępny w publicznej wersji zapoznawczej. Podczas publicznej wersji zapoznawczej AI Gateway jest dostępny w następujących regionach:

  • Stany Zjednoczone — Wschodnie stany USA 2
  • Europa - Szwecja Centralna

AI Gateway centralizuje dostęp do modeli i narzędzi AI. Aplikacje i agenci korzystają z punktów końcowych bramy, podczas gdy zespoły platformowe zarządzają połączeniami backendowymi, dostępem, politykami i obserwowalnością.

Ten artykuł wyjaśnia kluczową koncepcję, na której się opiera.

Gateway i punkty końcowe środowiska uruchomieniowego

Gateway to zasób platformy Azure typu Microsoft.ApiManagement/aigateways. Przechowuje połączenia i mechanizmy sterujące używane przez Twoje aplikacje.

Interfejs zarządzania konfiguruje bramę. Punkty końcowe środowiska wykonawczego otrzymują żądania aplikacji dotyczące inferencji modelu lub dostępu do narzędzi MCP. Są to różne ścieżki dostępu: uprawnienia do konfiguracji bramy nie dają automatycznie zgody na wywołanie jej modeli lub narzędzi.

Dostawcy modeli, zarejestrowane modele i aliasy

Połączenia modelowe oddzielają usługę backendową od nazwy, której używa aplikacja.

Element Purpose
Dostawca modeli Przechowuje konfigurację punktu końcowego i uwierzytelniania dla Microsoft Foundry lub kompatybilnej usługi niestandardowego modelu.
Zarejestrowany model Identyfikuje istniejące wdrożenie backendu lub istniejący model oraz obsługiwane przez niego punkty końcowe. Rejestracja nie wdraża nowego modelu.
Alias modelu Zapewnia stabilną nazwę wywołalną, której używają aplikacje, podczas gdy zespół platformy zarządza mapowaniem modeli backendowych.

Na przykład aplikacja może używać aliasu dla modelu czatu bez przechowywania danych uwierzytelniających dostawcy. Zmiana backendu nadal wymaga sprawdzenia, czy zamiennik obsługuje API i zachowanie aplikacji.

Federowane serwery i narzędzia MCP

Federowany serwer MCP łączy narzędzia z usług backendowych w ramach jednego punktu końcowego MCP. Backend może być zdalnym serwerem MCP, interfejsem API opisanym w OpenAPI lub wbudowanym konektorem.

Narzędzie opisuje operację oraz jej oczekiwane dane wejściowe. Agent odkrywa dostępne narzędzia i wywołuje wybrane operacje przez bramę. Wywołania narzędzi mogą zmieniać dane w tle, więc dostępność narzędzi i kontrola dostępu wpływają na to, co mogą robić wywołujący.

Uwierzytelnianie backendowe jest oddzielne od dostępu wywołującego. W przypadku wspólnego połączenia backendowego autoryzujące wywołania korzystają z uprawnień tego połączenia.

Dostęp i tożsamość

Trzy relacje decydują, kto może konfigurować bramę i korzystać z jej backendów:

Relationship Purpose
Administrator bramy sieciowej Uprawnienia zarządzania Azure pozwalają operatorowi konfigurować bramę i jej zasoby.
Dzwoniący do bramki Dostęp do środowiska uruchomieniowego Microsoft Entra lub klucz interfejsu API bramy autoryzuje aplikacje i agentów. Klucze API środowiska uruchomieniowego zapewniają dostęp do całej bramy.
Brama do zaplecza systemu Zarządzana tożsamość lub poświadczenie backendowe autoryzuje bramę w usłudze upstream. Tożsamość potrzebuje dostępu do tej usługi.

Konfiguracja jednej relacji nie przyznaje pozostałych uprawnień. Oddziel poświadczenia środowiska uruchomieniowego bramy od poświadczeń dostawcy i poświadczeń wdrożenia.

Nadzór, sieci i obserwowalność

Polityki stosują wspólne kontrole dotyczące ruchu modeli i narzędzi, takie jak limity zużycia i ochrona narzędzi. Mechanizmy kontroli szacowanych wydatków na modele pomagają regulować zużycie; rozliczenia od dostawców pozostają źródłem rzeczywistych opłat.

Sieć decyduje o tym, jak brama dociera do usług backendowych. Wymagania sieciowe należą do projektu bramy, szczególnie gdy backendy korzystają z prywatnej łączności.

Telemetria zapewnia wgląd w sposób użytkowania i charakterystykę żądań. Skonfiguruj cel telemetrii, zanim zaczniesz polegać na zebranych danych do oceny ruchu przez bramę.

Dokumentacja w produkcie zawiera instrukcje konfiguracyjne dla modeli, serwerów MCP, dostępu, polityk, sieci oraz obserwowalności.