Governance per gli endpoint di servizio modello (legacy)

Importante

Una nuova esperienza Unity Gateway è generalmente disponibile. È il piano di controllo enterprise per la gestione degli endpoint LLM e degli agenti di codifica con funzionalità avanzate. Vedi governance dell'IA con Unity Gateway.

Questa pagina descrive AI Gateway (legacy) per la gestione degli endpoint, che governa e monitora l'accesso ai modelli di IA supportati e ai relativi endpoint di serving del modello.

Cos'è AI Gateway (legacy) per servire endpoint?

AI Gateway (legacy) è progettato per semplificare l'uso e la gestione di modelli e agenti di IA all'interno di un'organizzazione. Si tratta di un servizio centralizzato che offre governance, monitoraggio e conformità di produzione ai modelli che servono gli endpoint. Consente anche di eseguire, proteggere e gestire il traffico di intelligenza artificiale per democratizzare e accelerare l'adozione dell'IA per l'organizzazione.

Tutti i dati vengono registrati in tabelle Delta in Unity Catalog.

Per iniziare a visualizzare informazioni approfondite dai dati del tuo AI Gateway, scarica il esempio di dashboard di AI Gateway da GitHub. Questa dashboard sfrutta i dati delle tabelle di inferenza per il tracciamento dell'utilizzo e la registrazione dei payload.

Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.

Funzionalità supportate

Importante

Il nuovo Unity Gateway offre un'interfaccia utente avanzata, una migliore osservabilità e un supporto API esteso per gli LLM, inclusi i modelli esterni e le API dei Foundation Model con pagamento per token. Consigliamo di utilizzare Unity Gateway per sbloccare queste nuove funzionalità.

La tabella seguente definisce le funzionalità di AI Gateway (legacy) disponibili e quali tipi di endpoint di serving del modello le supportano.

Caratteristica / Funzionalità Definizione Endpoint del modello esterno API del modello di base per l'endpoint con pagamento in base al token API del modello di base di cui è stato effettuato il provisioning dell'endpoint di velocità effettiva Agenti di Databricks Endpoint del modello personalizzato
Disponibile in Unity Gateway Usa funzionalità avanzate di Unity Gateway. Vedi governance dell'IA con Unity Gateway. Sostenuto Sostenuto Non supportato Non supportato Non supportato
Autorizzazione e limitazione della frequenza Controllare chi ha accesso e quanti accessi. Sostenuto Sostenuto Sostenuto Non supportato Sostenuto
Registrazione del payload Monitorare e controllare i dati inviati alle API del modello usando tabelle di inferenza . Sostenuto Sostenuto Sostenuto Sostenuto Sostenuto
Monitoraggio dell'utilizzo Monitorare l'utilizzo operativo sugli endpoint e sui costi associati usando le tabelle di sistema. Sostenuto Sostenuto Sostenuto Non supportato Sostenuto
Parapetti di IA Evitare dati indesiderati e non sicuri nelle richieste e nelle risposte. Vedere AI Guardrails. Sostenuto Sostenuto Sostenuto Non supportato Non supportato
Fallbacks Ridurre al minimo le interruzioni di produzione durante e dopo la distribuzione. Sostenuto Non supportato Non supportato Non supportato Non supportato
Suddivisione del traffico Distribuire il carico del traffico attraverso i modelli. Sostenuto Non supportato Sostenuto Non supportato Sostenuto

AI Gateway (legacy) sostiene costi in base a funzionalità abilitate. Le funzionalità a pagamento includono tabelle di inferenza e monitoraggio dell'uso. Le funzionalità come le autorizzazioni per le query, la limitazione della frequenza, i fallback e la suddivisione del traffico sono gratuite. Tutte le nuove funzionalità sono soggette a addebiti.

Guardrail di intelligenza artificiale

Importante

Questa funzionalità è in Anteprima Pubblica.

Le guardrail di intelligenza artificiale consentono agli utenti di configurare e applicare la conformità dei dati a livello di endpoint del modello e di ridurre il contenuto dannoso in tutte le richieste inviate al modello sottostante. Le richieste e le risposte non valide vengono bloccate e all'utente viene restituito un messaggio predefinito. Vedere come configurare le protezioni in un endpoint di gestione del modello.

Importante

Il servizio di moderazione AI Guardrails ha una dipendenza dalle API di modelli fondamentali con pagamento per token. Questa dipendenza limita la disponibilità del servizio di moderazione di AI Guardrails alle aree che supportano le API del modello foundation con pagamento in base al token.

La tabella seguente riepiloga le protezioni configurabili. Vedere Limitazioni.

Guardrail Definizione
Filtro di sicurezza Il filtro di sicurezza impedisce al modello di interagire con contenuti non sicuri e dannosi, ad esempio crimini violenti, autolesionismo e discorso di odio.
Il filtro di sicurezza del gateway di intelligenza artificiale è compilato con Meta Llama 3. Databricks usa Llama Guard 2-8b come filtro di sicurezza. Per altre informazioni sul filtro di sicurezza llama Guard e sugli argomenti che si applicano al filtro di sicurezza, vedere la scheda del modello 2 8B di Meta Llama Guard.
Meta Llama 3 è concesso in licenza con la licenza community LLAMA 3, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili.
Rilevamento delle informazioni personali identificabili I clienti possono rilevare qualsiasi informazione sensibile, ad esempio i numeri di carta di credito per gli utenti.
Per questa funzionalità, l'AI Gateway usa Presidio per rilevare le seguenti categorie statunitensi di informazioni personali: numeri di carta di credito, indirizzi di posta elettronica, numeri di telefono, numeri di conto bancario e numeri di previdenza sociale.
Il classificatore PII consente di identificare informazioni riservate o informazioni personali in dati strutturati e non strutturati. Tuttavia, poiché usa meccanismi di rilevamento automatizzato, non esiste alcuna garanzia che il servizio trovi tutte le informazioni riservate. Di conseguenza, dovrebbero essere impiegati sistemi e protezioni aggiuntivi.
Questi metodi di classificazione hanno come ambito principalmente le categorie di informazioni personali degli Stati Uniti, ad esempio i numeri di telefono degli Stati Uniti e i numeri di previdenza sociale.

Usa AI Gateway (legacy)

Puoi configurare le funzionalità di AI Gateway (legacy) sui tuoi endpoint di model serving usando la Serving UI. Vedi Configura la governance sugli endpoint di servizio modello (legacy).

Limitazioni

Di seguito sono riportate le limitazioni per endpoint con AI Gateway (legacy) abilitato:

  • Quando si usano protezioni di intelligenza artificiale, le dimensioni del batch delle richieste, ovvero le dimensioni del batch di incorporamento, le dimensioni del batch di completamento o il parametro n delle richieste di chat, non possono superare 16.
  • Se si usano chiamate di funzione e si specificano protezioni di intelligenza artificiale, tali protezioni non vengono applicate alle richieste e alle risposte intermedie della funzione. Tuttavia, le protezioni vengono applicate alla risposta finale dell'output.
  • I carichi di lavoro da testo a immagine non sono supportati.
  • Solo il tracciamento dell'utilizzo è supportato per i carichi di lavoro di inferenza batch su endpoint pay-per-token che hanno abilitate le funzionalità AI Gateway (legacy). Nella tabella di sistema endpoint_usage sono visibili solo le righe corrispondenti alla richiesta di inferenza batch.
  • I guardrail e i fallback di intelligenza artificiale non sono supportati nei modelli personalizzati che servono gli endpoint.
  • Per gli endpoint di servizio dei modelli personalizzati, solo i carichi di lavoro che non sono ottimizzati per le route supportano la limitazione della frequenza e il rilevamento dell'utilizzo.
  • Le tabelle di inferenza per i modelli ottimizzati per la route che servono gli endpoint sono disponibili in anteprima pubblica.
  • Vedi le limitazioni delle tabelle di inferenza abilitate da AI Gateway (legacy) per dettagli sulle limitazioni delle tabelle di inferenza.
  • Ultimo aggiornamento: