Esercitazione: Gestire l'accesso al modello di un agente di codifica con Unity AI Gateway

In questa esercitazione si connette un agente di codifica esterno, ad esempio Codex, l'interfaccia della riga di comando gemini o il cursore, a modelli di linguaggio di grandi dimensioni regolati da Unity AI Gateway. È quindi possibile controllare chi può accedere a tali modelli e quanto l'agente può utilizzare e spendere. Invece di fare in modo che ogni sviluppatore incolli una chiave API del provider nel proprio strumento, ogni richiesta passa attraverso un servizio di modelli di Unity AI Gateway. Unity Catalog controlla chi può usare i modelli e Unity AI Gateway applica limiti e registra l'utilizzo e i costi.

Al termine di questa esercitazione, si dispone di:

  • Agente di codifica che invia ogni richiesta di modello tramite Unity AI Gateway usando le credenziali di Azure Databricks, senza chiave API del provider nel computer dello sviluppatore.
  • Record centrali dell'utilizzo e dei costi dell'agente, soggetti ai limiti e alle autorizzazioni impostati nel servizio modello.

Prerequisites

Passaggio 1: Connettere l'agente di codifica

È possibile connettere l'agente in uno dei due modi seguenti:

  • ucode (scelta consigliata): un'utilità di avvio open source (interfaccia della riga di comando per la codifica del gateway di intelligenza artificiale Unity) che gestisce OAuth e scrive il file di configurazione di ogni agente, incluso l'URL di base del servizio modello e il modello. Non si gestiscono le chiavi API o gli endpoint a mano.
  • Configurazione manuale: impostare manualmente l'URL di base del servizio modello e il modello nelle impostazioni predefinite dello strumento (cursore, codex o interfaccia della riga di comando gemini). Vedere Integrazione con gli agenti di codifica.

Questa sezione usa ucode. Installarlo, quindi eseguire l'agente desiderato:

uv tool install git+https://github.com/databricks/ucode

Codex

ucode codex

Per eseguire in modalità non interattiva, passare il flag dell'agente stesso tramite ucode:

ucode codex --full-auto

Interfaccia della riga di comando gemini

ucode gemini

OpenCode

ucode opencode

Copilot

ucode copilot

Alla prima esecuzione, ucode richiede l'URL e l'autenticazione dell'area di lavoro. Le esecuzioni successive passano direttamente all'agente.

Passaggio 2: Gestire l'accesso al modello dell'agente

È possibile gestire un servizio di modello come qualsiasi altro oggetto securizzabile di Unity Catalog: con EXECUTE è possibile controllare chi può utilizzarlo e usare Unity AI Gateway per limitare il volume delle richieste e la spesa. Configurare una delle opzioni seguenti:

  • Gestire chi può accedere al modello: in Esplora cataloghi aprire il servizio modello e concedere EXECUTE a utenti o gruppi nella scheda Autorizzazioni .
  • Limita il volume di richieste: In Catalog Explorer, nella scheda Panoramica del servizio del modello, fai clic su Configura in corrispondenza di Limiti di frequenza. Impostare un limite di frequenza di richieste al minuto (QPM) o token al minuto (TPM) per tutte le richieste nell'endpoint o per utente.
  • Impostare un budget di spesa: un amministratore dell'account può creare un budget con ambito per tutti gli endpoint del gateway di intelligenza artificiale Unity. Il budget raggruppa i costi relativi ai tuoi servizi modello; imposta una soglia di avviso per ricevere una notifica o per bloccare l'utilizzo prima che i costi superino il budget.

Passaggio 3: Verificare che il traffico sia regolato

Verificare che le richieste dell'agente vengano instradate tramite Il gateway di intelligenza artificiale Unity e che siano registrate:

  • Dall'agente: inviare un prompt. L'agente risponde usando il modello configurato, senza chiave API del provider nel computer.

  • Dalla tabella del sistema di utilizzo: interroga il tracciamento dell'utilizzo per confermare che il servizio del modello registri le richieste:

    SELECT service_name, requester, status_code, COUNT(*) AS calls
FROM system.ai_gateway.usage
WHERE service_type = 'MODEL_SERVICE'
GROUP BY service_name, requester, status_code
ORDER BY calls DESC;

Per analizzare la spesa in modo più dettagliato, vedi Analizza il costo del Unity AI Gateway.

Passaggi successivi

  • Last updated on