Fornitori di modelli esterni a Databricks

Porta la capacità dei modelli da fornitori esterni, come OpenAI, Anthropic o Amazon Bedrock, ad Azure Databricks tramite un servizio di fornitore modello in Unity Catalog. Un servizio di fornitore modello fornisce un punto di controllo per credenziali criptate, accessi, utilizzo e costi. Registra ogni fornitore una sola volta e molti utenti e servizi di modello possono essere instradati a esso senza dover gestire le credenziali.

Su Azure Databricks, un fornitore di modelli esterno è un oggetto sicurabile Unity Catalog (un servizio di fornitore di modello) che memorizza i dettagli di connessione e le credenziali criptate di un fornitore. Poiché Unity Catalog memorizza i provider, si governa l'accesso con gli stessi privilegi che si usano per i dati, si interrogano i modelli esterni tramite Unity Gateway senza esporre segreti e si tracciano l'uso e i costi da un unico livello di governance.

Che cos'è un servizio provider di modelli?

Un servizio provider di modelli si trova in un catalogo e uno schema di Unity Catalog e usa un nome in tre parti, ad esempio main.default.openai_prod. Contiene:

• Tipo di provider (ad esempio, OpenAI o Amazon Bedrock).
• Configurazione della connessione per tale provider, ad esempio un URL di base dell'endpoint o un'area cloud.
• Credenziali del provider, che Azure Databricks crittografa e archivia. Azure Databricks non restituisce le credenziali in lettura. Per Azure OpenAI e Microsoft Foundry, puoi fare riferimento a una credenziale di servizio esistente per nome invece di memorizzare una chiave o un segreto, e la credenziale rimane dove si trova. Vedi Autentica Azure OpenAI o Microsoft Foundry con una credenziale di servizio.

Poiché un servizio del provider di modelli è un oggetto proteggibile di Unity Catalog, è possibile gestirlo allo stesso modo in cui si gestiscono altri oggetti sottoposti a governance:

• Concedere e revocare l'accesso con i privilegi del catalogo Unity.
• Trovalo in Catalog Explorer insieme agli altri dati e asset di IA.
• Configura funzionalità del Gateway Unity come limiti di velocità e tabelle di inferenza su di esso.

I chiamanti interrogano direttamente un servizio di fornitore modello tramite Unity Gateway facendo riferimento al suo nome, e non vedono le credenziali memorizzate. Un servizio provider di modelli può anche fornire il provider esterno a cui viene instradato un servizio modello, offrendo agli amministratori un singolo chokepoint regolamentato per le credenziali del provider.

Fornitori supportati

Un servizio di fornitore modello supporta solo i seguenti fornitori esterni e metodi di autenticazione.

Il provider Amazon Bedrock si collega all'endpoint AWS bedrock-runtime . Amazon Bedrock Mantle è un provider separato per bedrock-mantle. I due endpoint hanno un supporto API diverso e possono utilizzare ID di modello differenti.

Quando l'endpoint di un provider personalizzato richiede la chiave API in un header specifico anziché come bearer token, puoi specificare il nome di tale header. Vedi Invia una chiave API personalizzata del provider nell'intestazione.

Invece di memorizzare direttamente una credenziale del provider, puoi associarla a un segreto di Unity Catalog di proprietà del cliente, così il valore rimane gestito in Unity Catalog e la sua rotazione ha effetto senza alcuna modifica al servizio del provider del modello. Vedi una credenziale di fornitore con un segreto del catalogo Unity.

Perché gestire i provider esterni in Unity Catalog?

Senza un registro centrale, ogni team che usa un modello esterno incorpora le proprie credenziali del provider nel codice dell'applicazione o nei notebook. I servizi provider di modelli spostano tale configurazione nel catalogo unity in modo da poter:

• Definire un provider una sola volta. Registra le credenziali e i dettagli di connessione in un unico posto, quindi consenti a molti utenti e ai servizi dei modelli di condividere queste informazioni senza mai dover gestire il segreto.
• Gestire l'accesso con i privilegi di Unity Catalog. Usa le stesse istruzioni GRANT e REVOKE che usi per gli altri oggetti protetti per stabilire chi può interrogare ciascun provider.
• Esegui query tra aree di lavoro. Un servizio fornitore di modelli è disponibile in qualsiasi spazio di lavoro che condivide il proprio metastore.
• Tenere traccia dell'utilizzo e dei costi. Unity Gateway registra l'utilizzo per le query che instradano attraverso un servizio di fornitore modello. Vedi Monitorare l'utilizzo del modello. Azure Databricks calcola anche la spesa stimata per le richieste indirizzate a modelli esterni. Vedere Modelli esterni.
• Traccia la discendenza. Visualizza i servizi del modello che instradano verso un provider e gli asset a valle che ne consumano il contenuto. Vedi Modello di traccia, servizio e linea di fornitore.

Privilegi

I seguenti privilegi del catalogo Unity si applicano ai servizi del provider di modelli. Un'entità di sicurezza necessita anche di USE CATALOG e USE SCHEMA sul catalogo e sullo schema padre.

Per come concedere e revocare questi privilegi, vedi Scoprire e regolare l'accesso a fornitori modello esterni (servizi fornitori modello).

Monitorare la spesa dei servizi dei fornitori modello nei budget

Per includere la spesa stimata per il servizio del fornitore di modelli in un budget di Unity Gateway, seleziona Include uso di modelli esterni quando si crea il budget. La spesa per i modelli esterni concorre quindi alle soglie di avviso e di blocco dell'utilizzo del budget.

Le stime di spesa per modelli esterni riflettono qualsiasi moltiplicatore di prezzo configurato sul servizio del fornitore modello.

Per maggiori informazioni sulla spesa stimata per modelli esterni, vedi Modelli esterni.

Passaggi successivi

• Creare e gestire fornitori con i Servizi Fornitori Modello
• Consulta fornitori di modelli esterni (servizi di fornitori di modello)
• Scopri e regola l'accesso a fornitori modello esterni (servizi fornitori modello)
• Monitorare l'utilizzo del modello
• Analizza il costo del Gateway Unity
• Linea di servizio modello e linea di fornitori