Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
AI Gateway pomaga zespołom platformowym zapewnić aplikacjom i agentom współdzielony, kontrolowany dostęp do modeli i narzędzi AI. Możesz wprowadzać istniejący ruch AI przez AI Gateway, aby scentralizować połączenia, stosować kontrole skoncentrowane na AI i uzyskać wgląd w użytkowanie. Punktem wyjścia mogą być aplikacje wywołujące dostawców bezpośrednio, istniejąca brama lub możliwości bramy AI w Azure API Management.
Przesunięcie obciążenia roboczego oznacza zmianę sposobu zarządzania i kierowania jego modelem i wywołaniami narzędzi. Możesz zachować bazowe wdrożenia modeli, usługi narzędzi oraz platformy zarządzające innymi obciążeniami. Na przykład asystent może korzystać z AI Gateway do dostępu do modeli oraz federowanych narzędzi MCP, podczas gdy biznesowe API nadal korzystają z API Management.
Wybierz możliwości, których potrzebują Twoje obciążenia robocze
Zacznij od usprawnienia, które chcesz wprowadzić w aplikacjach, agentach lub operacjach platformy. AI Gateway może Ci pomóc:
- Dziel się zatwierdzonymi połączeniami modeli. Rejestruj istniejące wdrożenia modeli i udostępniaj aliasy modeli, tak aby aplikacje używały nazw stabilnych, a zespoły platformy zarządzały połączeniami backendowymi.
- Połącz narzędzia dla agentów. Publikuj narzędzia z wielu backendów MCP przez współdzielony punkt końcowy MCP bramy.
- Kontroluj użycie AI. Stosuj limity tokenów i szacowane budżety wydatków modelowych z kontrolami dostosowanymi do obciążenia i jego podmiotów wywołujących.
- Dowiedz się, jak używać. Konfiguruj telemetrię, aby obserwować aktywność modelu i narzędzi oraz badać żądania.
Wybierz obciążenia, które korzystają z tych możliwości, a następnie sprawdź ich wymagane operacje modelowe, transporty MCP, uwierzytelnianie, polityki, sieci i telemetrię pod kątem obsługi w AI Gateway. Wsparcie dla usługodawcy nie oznacza wsparcia dla każdej operacji, którą oferuje.
Jeśli Twoje obciążenia korzystają z Azure API Management
Przenoszenie wybranych obciążeń AI jest opcjonalne. AI Gateway i zarządzanie API wzajemnie się uzupełniają: używaj AI Gateway do zarządzania opartego na modelach i narzędziach oraz pozostaw zarządzanie cyklem życia API, funkcje portalu deweloperskiego i API biznesowe w API Management.
Możliwości bramy AI w zarządzaniu interfejsami API są nadal obsługiwane. Pełny parytet funkcji AI między produktami nie jest planowany, więc oceń każde obciążenie za pomocą AI Gateway i usługi Azure API Management. Na przykład zależności od balansowania obciążenia puli backendowej, przełączania awaryjnego, buforowania semantycznego lub interfejsów API agentów A2A mogą być powodem do utrzymania obciążenia roboczego w API Management lub zaprojektowania alternatywy przed jego przeniesieniem.
Inne warstwy zarządzania interfejsami API nie są dotknięte wycofaniem wcześniejszej jednostki SKU AIGateway. Jeśli Twój zasób korzysta z tego przestarzałego SKU, zamiast tego skorzystaj z migracji z jednostki SKU AIGateway w usłudze Azure API Management.
Przypisz obciążenie do AI Gateway
Zrób inwentaryzację połączeń modeli i narzędzi, które planujesz wprowadzić przez AI Gateway, ich wywołujących, usługi backendowe, dane uwierzytelniające, sterowanie, sieci oraz zależności operacyjne. Wykorzystaj tę inwentaryzację do zaprojektowania konfiguracji docelowej.
| Istniejąca konfiguracja | Projekt docelowy do oceny |
|---|---|
| Bezpośrednie wywołania modeli lub API modelowe przez bramkę | Dostawcy modeli i zarejestrowane modele, z wymaganym protokołem, punktem końcowym i uwierzytelnianiem zaplecza |
| Nazwy modeli dla klientów | Aliasy modelowe, które zachowują nazwy używane przez aplikacje, gdzie to możliwe |
| Serwery MCP lub operacje HTTP API ujawnione jako narzędzia | Zaplecze MCP i wybrane narzędzia publikowane przez punkty końcowe bramy MCP |
| Poświadczenia aplikacji i autoryzacja wywołującego, w tym subskrypcje API Management | Poświadczenia środowiska uruchomieniowego bramy lub uprawnienia dostępu Microsoft Entra dla wymaganych obiektów wywołujących |
| Formanty w aplikacjach lub istniejącej bramie | Obsługiwane mechanizmy sterowania AI Gateway skonfigurowane dla odpowiednich modeli, narzędzi i wywołujących |
| Limity zużycia i grupowanie wywołujących | Polityki dotyczące limitów tokenów i kosztów, które spełniają wymagania dotyczące przydziału obciążenia roboczego i szacowanych wydatków |
| Diagnostyka, logi i panele | Telemetria bram, alerty i dashboardy wspierające równoważne kontrole działania |
| Automatyzacja wdrażania | Definicje zasobów i operacje zarządzania dla Microsoft.ApiManagement/aigateways |
Traktuj to mapowanie jako ocenę projektową, a nie bezpośrednią konwersję konfiguracji. W przypadku obciążeń związanych z API Management interfejsy API, produkty, subskrypcje i zasady muszą być odwzorowane w konfiguracji AI Gateway skoncentrowanej na modelach i narzędziach. Kwota tokenów i szacowany budżet pieniężny służą różnym celom; żadne z nich nie zastępuje rozliczeń dostawcy.