Governare i fornitori di modelli esterni (servizi di fornitori di modello)

I fornitori di modelli esterni ti permettono di portare la tua chiave (BYOK): collega i provider LLM che già utilizzi, come OpenAI, Anthropic o Amazon Bedrock, e gestiscili tramite un unico punto di controllo. Registra ogni provider una sola volta e consenti a molti utenti e alle API dei modelli di collegarsi a esso senza mai dover gestire le credenziali.

Su Azure Databricks, un fornitore di modelli esterno è un oggetto sicurabile Unity Catalog (un servizio di fornitore di modello) che memorizza i dettagli di connessione e le credenziali criptate di un fornitore. Poiché Unity Catalog memorizza i provider, si governa l'accesso con gli stessi privilegi che si usano per i dati, si interrogano i modelli esterni tramite Unity AI Gateway senza esporre segreti e si tracciano l'uso e i costi da un unico livello di governance.

Che cos'è un servizio provider di modelli?

Un servizio provider di modelli si trova in un catalogo e uno schema di Unity Catalog e usa un nome in tre parti, ad esempio main.default.openai_prod. Contiene:

• Tipo di provider (ad esempio, OpenAI o Amazon Bedrock).
• Configurazione della connessione per tale provider, ad esempio un URL di base dell'endpoint o un'area cloud.
• Credenziali del provider, che Azure Databricks crittografa e archivia. Azure Databricks non restituisce le credenziali in lettura. Per Azure OpenAI e Microsoft Foundry, puoi fare riferimento a una credenziale di servizio esistente per nome invece di memorizzare una chiave o un segreto, e la credenziale rimane dove si trova. Vedi Autentica Azure OpenAI o Microsoft Foundry con una credenziale di servizio.

Poiché un servizio del provider di modelli è un oggetto proteggibile di Unity Catalog, è possibile gestirlo allo stesso modo in cui si gestiscono altri oggetti sottoposti a governance:

• Concedere e revocare l'accesso con i privilegi del catalogo Unity.
• Trovalo in Catalog Explorer insieme agli altri dati e asset di IA.
• Configurare le funzionalità del gateway di intelligenza artificiale unity, ad esempio limiti di frequenza e tabelle di inferenza.

I chiamanti interrogano direttamente un servizio di un provider di modelli tramite Unity AI Gateway facendovi riferimento per nome e non vedono le credenziali archiviate. Un servizio provider di modelli può anche fornire il provider esterno a cui viene instradato un servizio modello, offrendo agli amministratori un singolo chokepoint regolamentato per le credenziali del provider.

Fornitori supportati

Un servizio di fornitore modello supporta solo i seguenti fornitori esterni e metodi di autenticazione.

Quando l'endpoint di un provider personalizzato richiede la chiave API in un header specifico anziché come bearer token, puoi specificare il nome di tale header. Vedi Invia una chiave API personalizzata del provider nell'intestazione.

Perché gestire i provider esterni in Unity Catalog?

Senza un registro centrale, ogni team che usa un modello esterno incorpora le proprie credenziali del provider nel codice dell'applicazione o nei notebook. I servizi provider di modelli spostano tale configurazione nel catalogo unity in modo da poter:

• Definire un provider una sola volta. Registra le credenziali e i dettagli di connessione in un unico posto, quindi consenti a molti utenti e ai servizi dei modelli di condividere queste informazioni senza mai dover gestire il segreto.
• Gestire l'accesso con i privilegi di Unity Catalog. Usa le stesse istruzioni GRANT e REVOKE che usi per gli altri oggetti protetti per stabilire chi può interrogare ciascun provider.
• Esegui query tra aree di lavoro. Un servizio fornitore di modelli è disponibile in qualsiasi spazio di lavoro che condivide il proprio metastore.
• Tenere traccia dell'utilizzo e dei costi. Unity AI Gateway registra l’uso per le query che passano attraverso un servizio del provider di modelli. Vedi Monitorare l'utilizzo del modello. Azure Databricks calcola anche la spesa stimata per le richieste indirizzate a modelli esterni. Vedere Modelli esterni.
• Traccia la discendenza. Visualizza i servizi del modello che instradano verso un provider e gli asset a valle che ne consumano il contenuto. Vedi API del modello di traccia e linea di fornitori.

Privilegi

I seguenti privilegi del catalogo Unity si applicano ai servizi del provider di modelli. Un'entità di sicurezza necessita anche di USE CATALOG e USE SCHEMA sul catalogo e sullo schema padre.

Per come concedere e revocare questi privilegi, vedi Scoprire e regolare l'accesso a fornitori modello esterni (servizi fornitori modello).

Monitorare la spesa dei servizi dei fornitori modello nei budget

Per includere la spesa stimata per i servizi del fornitore di modelli in un budget di un Unity AI Gateway, seleziona Include uso di modelli esterni quando crei il budget. La spesa per i modelli esterni concorre quindi alle soglie di avviso e di blocco dell'utilizzo del budget.

Per maggiori informazioni sulla spesa stimata per modelli esterni, vedi Modelli esterni.

Passaggi successivi

• Creare e gestire fornitori modello esterni (servizi fornitori modello)
• Consulta fornitori di modelli esterni (servizi di fornitori di modello)
• Scopri e regola l'accesso a fornitori modello esterni (servizi fornitori modello)
• Monitorare l'utilizzo del modello
• Analizza il costo del Gateway Unity AI
• API del modello di traccia e linea di provider