Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
I carichi di lavoro di inferenza di intelligenza artificiale non si comportano come le tradizionali applicazioni HTTP senza stato. Le richieste sono spesso specifiche del modello, a esecuzione prolungata, costose da gestire e sensibili ai segnali di runtime, ad esempio la disponibilità dell'acceleratore, la profondità della coda, la priorità delle richieste, il budget del token e la capacità del server modello.
L'inferenza del gateway applicazione per contenitori supporta questi carichi di lavoro integrando l'Estensione di inferenza per API gateway di Kubernetes, che aggiunge back-end consapevoli dell'inferenza al modello API gateway. Utilizzando l'inference gateway, è possibile esporre server di modelli ospitati autonomamente tramite Application Gateway for Containers con comportamento di instradamento basato sul modello e sul carico.
Il gateway di inferenza è progettato appositamente per gestire modelli di linguaggio di grandi dimensioni e altri carichi di lavoro di inferenza. Instrada le richieste in base ai segnali del server modello anziché al bilanciamento del carico generico, riducendo il tempo al primo token (TTFT), riducendo i timeout sotto carico e migliorando l'efficienza della GPU. Basato sulle funzionalità in ingresso di Gateway applicazione per contenitori, il gateway di inferenza consente anche di abbinare i carichi di lavoro di IA a funzionalità come il web application firewall (WAF) per proteggere il traffico prima che raggiunga i server dei modelli.
Molti runtime di inferenza ospitati autonomamente, tra cui vLLM, espongono API HTTP compatibili con quelle di OpenAI, come /v1/chat/completions, /v1/completions e /v1/models. OpenAI-compatible si riferisce al formato API, non a una restrizione per i modelli ospitati da OpenAI. Se un'altra famiglia di modelli viene esposta tramite un runtime o un proxy che utilizza questo formato, Application Gateway for Containers può usare il campo model nel corpo della richiesta JSON per l'instradamento basato sul corpo della richiesta.
Importante
Il gateway di inferenza di Application Gateway for Containers è attualmente in anteprima.
Vedi le Condizioni supplementari d'uso per le anteprime di Microsoft Azure per conoscere le condizioni legali applicabili alle funzionalità di Azure che sono in beta, in anteprima o non ancora rilasciate nella disponibilità generale.
Blocchi fondamentali del gateway di inferenza
Un gateway di inferenza combina tre parti: un'implementazione API Gateway che gestisce l'ingresso, un InferencePool backend definito dall'estensione di inferenza dell'API Gateway e un selezionatore di endpoint che sceglie un pod server modello per ogni richiesta. Il gateway applicazione per contenitori fornisce la parte iniziale e un processore di routing gestito basato sul contenuto del corpo. Fornisci il InferencePool e il selettore di endpoint nel tuo cluster.
-
InferencePool: Una risorsa backend (
inference.networking.k8s.io/v1) che rappresenta un gruppo di pod server modello, la porta su cui servono e un riferimento al selezionatore di endpoint che seleziona un pod per ogni richiesta di inferenza. - Endpoint Picker (EPP): Il ruolo, definito dall'Estensione di Inferenza API Gateway, del componente che seleziona un endpoint per ogni richiesta. Il gateway chiama l'EPP utilizzando il protocollo endpoint picker definito dall'estensione. L'EPP restituisce il pod del server del modello che dovrebbe servire la richiesta. EPP descrive un contratto, non un singolo prodotto, e qualsiasi implementazione del protocollo può ricoprire quel ruolo.
-
Routing basato sul contenuto del corpo (BBR): un processore di richieste che ispeziona il corpo di una richiesta compatibile con OpenAI, estrae il nome del modello e lo rende disponibile al gateway come intestazione
X-Gateway-Model-Nameper il routing supportato dal modello.
Application Gateway for Containers esegue il processore BBR come parte gestita del gateway, quindi non esiste un livello separato di routing o di elaborazione del payload basato sul corpo da distribuire, scalare o patchare. Poiché il gateway di inferenza utilizza l'API dell'estensione di inferenza dell'API gateway, si configura tramite le risorse standard dell'API gateway, e i team della piattaforma possono utilizzare un modello API nativo di Kubernetes per il traffico di inferenza invece di introdurre un modello di configurazione in ingresso separato.
Cambiamenti nell'estensione di inferenza dell'API Gateway v1.6
A partire dalla v1.6, il progetto Gateway API Inference Extension si concentra sulla specifica principale: l'API InferencePool , il protocollo di selezione degli endpoint e i test di conformità. I componenti specifici per l'implementazione sono stati spostati nel progetto llm-d :
| Component | Prima di v1.6 | v1.6 e versioni successive |
|---|---|---|
InferencePool |
Estensione di inferenza API Gateway (inference.networking.k8s.io/v1) |
Invariato |
| Selettore di endpoint completo | Estensione Gateway API Inference | Router LLM-D |
InferenceObjective |
Estensione di inferenza API Gateway (inference.networking.x-k8s.io/v1alpha2) |
Router LLM-D (llm-d.ai/v1) |
InferenceModelRewrite |
Estensione di inferenza API Gateway (inference.networking.x-k8s.io/v1alpha2) |
Router LLM-D (llm-d.ai/v1alpha2) |
EndpointPickerConfig (File di configurazione EPP) |
Estensione di inferenza API Gateway | llm-d router |
| Routing basato sul contenuto del corpo | Estensione di inferenza API Gateway | Processore del payload di inferenza llm-d. Application Gateway for Containers fornisce un BBR gestito, quindi non è necessario distribuirlo. |
| Selezionatore di endpoint leggero (LWEPP) | Non disponibile | Gateway API Inference Extension, in qualità di implementazione di riferimento |
Se hai creato InferenceObjective risorse o InferenceModelRewrite risorse con l'API inference.networking.x-k8s.io/v1alpha2, installa i CRD llm-d e ricrea le risorse con le versioni dell'API llm-d. L'API InferencePool non cambia.
Implementazioni del selettore di endpoint
Il comportamento di routing che ottieni da un InferencePool dipende dall'implementazione EPP a cui il pool fa riferimento. Application Gateway for Containers chiama l'EPP tramite il protocollo standard e non dipende da una specifica implementazione. Due implementazioni sono mantenute insieme alla specifica:
| Implementation | Gestito da | Uso previsto | Capacità di pianificazione |
|---|---|---|---|
| llm-d router | llm-d | Fornitura dell'inferenza in produzione | Punteggi pluggable (affinità prefisso-cache, profondità della coda, utilizzo della cache KV, richieste attive), rilevamento saturazione, controllo del flusso con bande di priorità, InferenceObjective, e InferenceModelRewrite. |
| EPP leggero (LWEPP) | Estensione di inferenza API Gateway | Implementazione di riferimento per test di conformità e validazione del protocollo | Selezione dell'endpoint minima. Non comprende i plugin scorer del router llm-d, il controllo di flusso o il supporto per InferenceObjective e InferenceModelRewrite. |
Usa il router LLM-D quando vuoi i comportamenti load-aware, cache-aware e prioritizzativi descritti in questo articolo. Usa LWEPP per validare che il tuo gateway, InferencePool, e i server modello siano cablati correttamente con il minimo EPP possibile.
Ognuna InferencePool fa riferimento a una distribuzione EPP. Il router llm-d viene tipicamente installato per pool utilizzando il suo chart Helm, che crea insieme il InferencePool, il deployment EPP e la sua configurazione.
Come Application Gateway for Containers utilizza le risorse di inferenza
Application Gateway for Containers continua a usare le risorse standard di Gateway API per la configurazione dell'ingresso. Il comportamento di inferenza viene attivato quando un riferimento al backend HTTPRoute punta a un InferencePool anziché a un Kubernetes Service.
Per le route non di inferenza, Application Gateway for Containers mantiene il comportamento esistente di Gateway API. Le route che puntano ai backend Kubernetes Service non invocano l'EPP e non ricevono un comportamento di routing specifico per l'inferenza, anche quando Service seleziona gli stessi pod del server del modello.
Per le route di inferenza, il control plane riconcilia le risorse della Gateway API e quelle di inferenza e configura il data plane in modo che:
- Il
HTTPRouteseleziona il backendInferencePool. -
InferencePoolseleziona i pod del server dei modelli che appartengono al pool. - L'EPP associato al pool viene richiamato per la selezione dell'endpoint.
- L'endpoint server del modello selezionato riceve la richiesta.
- Il routing facoltativo compatibile con il modello usa il nome del modello di richiesta estratto da BBR.
Flusso di richiesta
Una tipica richiesta di inferenza segue questo percorso. I passaggi numerati corrispondono alle etichette nel diagramma seguente:
- Richiesta client: un client invia una richiesta compatibile con OpenAI al front-end del gateway applicazione per contenitori e il listener del gateway lo accetta.
-
Routing basato sul corpo (BBR): per le route compatibili con il modello, il processore BBR gestito controlla il corpo della richiesta, estrae il nome del modello e inserisce l'intestazione
X-Gateway-Model-Name. IlHTTPRoutepuò quindi trovare una corrispondenza in base a quel valore per selezionare ilInferencePoolappropriato. -
Selezione dell'endpoint: Quando la rotta abbinata prende di mira un
InferencePool, Application Gateway for Containers invoca l'EPP del pool. L'EPP valuta la telemetria della richiesta e del server del modello e restituisce l'endpoint selezionato. Utilizzando il router llm-d, l'EPP può anche trattenere la richiesta in una coda di priorità fino a quando la capacità non è disponibile, oppure riscrivere il nome del modello richiesto, prima di restituire un endpoint. - Instradamento verso InferencePool: Application Gateway for Containers inoltra la richiesta al pod del server di modelli selezionato e la risposta del server di modelli viene restituita al client tramite il gateway.
Funzionalità di routing
Il gateway d'inferenza supporta questi schemi di instradamento per i carichi di lavoro di IA ospitati autonomamente. Application Gateway for Containers fornisce instradamento consapevole del modello, suddivisione del traffico e gestione dei guasti. La selezione degli endpoint, le riscritture di priorità e del modello vengono eseguite nell'EPP, quindi questi comportamenti dipendono dall'implementazione dell'EPP e dai plug-in e dalle funzionalità che si attivano al suo interno.
- Instradamento basato sul modello: Instrada le richieste in base al nome del modello nei corpi delle richieste compatibili con OpenAI, che il processore BBR gestito estrae.
-
Divisione del traffico e rollout tra pool: Usa il bilanciamento
backendRefspesato standardHTTPRouteper suddividere il traffico traInferencePooli backend per i rollout canari o blu-verde di un modello che gira su pod separati. -
Riscritture di modelli all'interno di un pool: Con il router llm-d, usa
InferenceModelRewriterisorse per mappare il nome del modello che i client richiedono a uno o più modelli target serviti dallo stesso pool, con i pesi. Ad esempio, i client continuano a richiederesupport-assistant, mentre l'EPP invia il 90 percento delle richieste all'adattatore LoRAsupport-v1e il 10 percento asupport-v2. Il router restituisce il nome del modello richiesto dal client nella risposta. - Selezione dell'endpoint compatibile con il carico e compatibile con la cache: l'EPP assegna punteggi agli endpoint usando i dati di telemetria del server modello, ad esempio la profondità della coda e l'utilizzo della cache KV. Quando EPP abilita il calcolo del punteggio basato sulla cache dei prefissi, le richieste che condividono un prefisso del prompt, ad esempio i turni della stessa conversazione, vengono inoltrate alla stessa replica per aumentare i riscontri della cache e ridurre il TTFT.
-
Priorità delle richieste e protezione dal sovraccarico: con il router llm-d, definire le risorse
InferenceObjective(llm-d.ai/v1) che assegnano una priorità a una classe di traffico su un pool e consentire ai client di selezionare un obiettivo con l'intestazione della richiestax-llm-d-inference-objective. Quando il controllo del flusso è abilitato e il pool è saturo, l'EPP mette in coda le richieste nelle bande prioritarie, invia prima le richieste di priorità più alta e elimina le richieste a priorità inferiore quando la loro banda è piena o il loro time-to-live scade. -
Selezione dell'endpoint resiliente: configurare il comportamento degli errori EPP con
FailOpenoFailClose, a seconda che la disponibilità o la selezione rigorosa degli endpoint sia più importante per un pool. - Compatibilità con l'API Gateway: continuare a utilizzare Gateway, HTTPRoute, ReferenceGrant e le condizioni di stato standard dell'API Gateway per la configurazione dell'ingresso.
Inferenza sicura
Mantieni privati i server del modello dietro il gateway gestito e applica le funzionalità di sicurezza della piattaforma al traffico di inferenza.
- Web application firewall (WAF): il gateway di inferenza si abbina nativamente alla capacità WAF esistente in gateway applicazione per contenitori, applicando protezioni al traffico di IA prima che le richieste raggiungano i server di modelli.
- Protezione per backend costosi: poiché la policy viene applicata al managed edge, richieste mal formate o abusive possono essere ispezionate e bloccate prima di raggiungere l'EPP o consumare scarsa capacità GPU.
Scenari di esempio
Gli scenari seguenti illustrano i modi comuni per usare il gateway di inferenza:
-
Fornire e distribuire le versioni del modello: instradare le richieste compatibili con OpenAI a un
InferencePoolin base al nome del modello. Per distribuire un nuovo adattatore LoRA sugli stessi pod, usareInferenceModelRewriteper spostare una percentuale di richieste al nuovo adattatore. Per distribuire un modello che gira su pod separati, usa backendRefs pesatiHTTPRoutesu dueInferencePoolbackend. - Riutilizza il contesto cacheato per conversazioni multi-turno: Abilita il punteggio prefix-cache-aware nel router LLM-D in modo che i turni successivi di una conversazione ritornino alla replica che già contiene la cache KV, riducendo così il lavoro di prefill e TTFT.
- Classificare in ordine di priorità il traffico critico per latenza: definire le
InferenceObjectiverisorse per carichi di lavoro con priorità alta e bassa in un pool condiviso. Le richieste di chat interattive hanno priorità alta, mentre i processi batch usano una priorità inferiore che attende la capacità di riserva e che viene sacrificata per prima quando il pool è saturo.
InferencePool confrontato con il servizio
Un Kubernetes Service rimane la giusta astrazione di backend per il traffico applicativo standard. Usare un InferencePool quando il back-end è un gruppo di pod di server dei modelli che richiedono la selezione di un endpoint specifico per l'inferenza.
| Tipo backend | Usare per | Comportamento di routing |
|---|---|---|
Service |
Back-end HTTP standard, gRPC e delle applicazioni | Il gateway viene instradato agli endpoint di servizio usando il comportamento di bilanciamento del carico standard. |
InferencePool |
Pod del server dei modelli self-hosted | Il gateway richiama l'EPP configurato, quindi indirizza all'endpoint server modello selezionato. |
Un InferencePool include un selettore di pod, informazioni sulla porta di destinazione e un riferimento al selettore degli endpoint (endpointPickerRef). L'EPP seleziona l'endpoint per una richiesta. Un singolo EPP è associato a un singolo pool.
Comportamento in caso di guasto
Il routing dell'inferenza è un comportamento che si verifica al momento della richiesta, quindi la modalità di errore del selettore di endpoint è importante.
Il endpointPickerRef di un InferencePool supporta queste modalità di guasto:
- FailOpen: Se l'EPP non è disponibile o non risponde, il gateway continua con la selezione standard dell'endpoint per il pool. Questa scelta preserva la disponibilità, ma si perdono i comportamenti EPP come l'affinità della cache, la priorità e le riscritture del modello fino al ripristino dell'EPP.
-
FailClose: se EPP non è disponibile o non risponde, il gateway rifiuta la richiesta. Questa scelta impedisce l'invio del traffico senza la decisione di selezione dell'endpoint necessaria.
FailCloseè l'impostazione predefinita.
Se il pool si basa su InferenceModelRewrite per mappare un nome di modello rivolto al client a un modello che i server effettivamente caricano, le richieste che aggirano l'EPP sotto FailOpen raggiungono il server di modelli con il nome originale. Assicurati che i server modello possano servire quel nome, oppure usa FailClose per il pool.
Per il routing basato sul modello che dipende dall'analisi del corpo della richiesta, Application Gateway for Containers privilegia la correttezza. Se il nome del modello non può essere estratto per una route che richiede BBR, la richiesta viene rifiutata invece di essere instradata automaticamente al back-end del modello errato.
Considerazioni operative
Pianifica le considerazioni seguenti quando esegui carichi di lavoro di inferenza dietro Application Gateway for Containers:
-
Capacità EPP: l'EPP si trova nel percorso di richiesta per i back-end
InferencePool. Dimensionarlo e monitorarlo come un componente critico dell'applicazione, e eseguire più di una replica per pool di produzione. -
Configurazione EPP: Con il router llm-d, i plugin scorer, i loro pesi, il rilevamento della saturazione e il controllo del flusso sono impostati nel
EndpointPickerConfigdel router, solitamente tramite i valori di Helm. Alcune funzioni, come il controllo del flusso, sono dietro le feature gate e sono disattivate di default. - Telemetria del server modello: EPP necessita di nuove metriche del server del modello per prendere decisioni di routing di alta qualità. Conferma che il tuo server modello esponga le metriche che la configurazione EPP si aspetta.
- Capacità e pianificazione GPU: i pod del server modello spesso richiedono pool di nodi GPU, plug-in del dispositivo e credenziali di download del modello. Il gateway e l'EPP non richiedono GPU.
- Scalabilità automatica: dimensiona automaticamente i pod del server del modello in base a segnali di inferenza, come la lunghezza della coda e l'utilizzo della cache KV, usando l'Horizontal Pod Autoscaler o KEDA. La scalabilità automatica aggiunge capacità man mano che aumenta la domanda, mentre il processo EPP instrada le repliche già sature.
- Risposte in streaming: molti scenari di completamento della chat usano eventi inviati dal server. Verificare il comportamento dello streaming quando si testano la latenza end-to-end e le impostazioni di timeout.
- Osservabilità: monitorare lo stato del gateway e HTTPRoute, lo stato di InferencePool, l'integrità EPP, l'idoneità del server modello e le metriche del server del modello, ad esempio richieste attive e profondità della coda. Il router llm-d espone anche metriche Prometheus per le sue decisioni di scheduling, controllo del flusso e riscrittura del modello.
Limitations
- Il gateway di inferenza si concentra sui carichi di lavoro di inferenza autogestiti eseguiti su Kubernetes. Il routing diretto agli endpoint del provider di modelli pubblici o gestiti non rientra nell'ambito di questa integrazione.
- La validazione JWT definita da un
AuthPolicynon è attualmente supportata su rotte il cui backend è unInferencePool. - L'estensione di inferenza dell'API Gateway e il router llm-d si evolvono indipendentemente dall'Application Gateway for Containers e l'uno dall'altro. Usa versioni API e manifesti che corrispondano ai CRD installati sul tuo cluster: il CRD
InferencePooldi Gateway API Inference Extension e i CRDInferenceObjectiveeInferenceModelRewritedella release di llm-d router che distribuisci.