Riserva il throughput provisionato sulle API Foundation Model

Questa pagina spiega il throughput riservato e provisionato per le API del Foundation Model: cos'è, quando usarlo, come dimensionare una prenotazione e come creare e gestire un endpoint che lo utilizzi.

Che cos'è il throughput con provisioning riservato?

La capacità provisionata riservata è un'opzione di capacità per le API di Azure Databricks Foundation Model. Invece di utilizzare un'offerta per token, che si basa su un pool condiviso di capacità, si riserva una quantità fissa di capacità dedicata per una durata determinata. Misuri quella capacità in unità modello, e Azure Databricks la trattiene per te per tutta la durata della prenotazione.

Poiché la capacità è dedicata e riservata in anticipo, la velocità di trasmissione e la latenza rimangono costanti per quella capacità anche quando la domanda complessiva di pay-per-token condiviso è elevata. Il traffico superiore alla tua capacità riservata è soggetto a limitazione della velocità, non servito automaticamente con pay-per-token. Per inviare quell'overflow al pay-per-token invece di rifiutarlo, configura un fallback sul servizio modello davanti al tuo endpoint. Consulta Gestire il traffico oltre la tua capacità riservata.

Quando utilizzare il throughput con provisioning riservato

Il throughput riservato con provisioning è progettato per carichi di lavoro che necessitano di capacità affidabile piuttosto che di accesso non garantito a un pool condiviso. Databricks lo consiglia quando:

• Stai eseguendo un'applicazione o un agente mission-critical, dove una funzionalità in produzione dipende dal modello e non può competere con altro traffico per la capacità condivisa.
• Hai bisogno di una disponibilità e di un uptime più costanti rispetto al pay-per-token condiviso, quindi una forte domanda sul pool condiviso ha meno impatto sul tuo throughput.
• Stai scalando verso volumi elevati o sostenuti di traffico prevedibile, e stai raggiungendo vincoli di capacità o limiti di tasso sul pay-per-token o sul pay-per-token prioritario.

Se il tuo traffico è esplorativo o a basso volume, vedi pay-per-token o pay-per-token prioritario.

Modelli supportati

La velocità di throughput riservata è disponibile sui modelli di fondazione supportati. Azure Databricks seleziona l'idoneità per modello, e il flow di creazione mostra solo i modelli che puoi riservare.

La capacità provisionata riservata è disponibile per i seguenti modelli:

Come funziona il throughput allocato con provisioning

Riservi la capacità nelle unità di modello. Un'unità modello è un'unità di throughput provisionato che determina quanto lavoro il tuo endpoint può gestire per minuto. Più unità modello significa più throughput riservato per te. Riservi le unità modello a incrementi di 50, partendo da almeno 50.

Crei una riserva scegliendo quante unità modello riservare e per quanto tempo (la durata). Azure Databricks fornisce quella capacità dedicata per l'intero periodo. un endpoint può contenere più di una prenotazione contemporaneamente e la sua capacità totale riservata è la somma delle unità modello nelle sue prenotazioni attive.

I seguenti termini descrivono le parti di un endpoint a throughput riservato e provisionato:

Decidi quanto riservare

Dipende da te quante unità di modello riservi. Puoi mettere tutto il carico di lavoro su capacità dedicata, oppure riservarne meno e inviare l'overflow al pay-per-token con un fallback (vedi Gestire il traffico sopra la tua capacità riservata):

• Riserva una base e invia i picchi a un fallback. Riserva abbastanza unità modello per coprire il traffico costante e quotidiano, e configura un fallback in modo che i picchi oltre quel livello di base vengano gestiti con il modello pay-per-token. Ti impegni a una capacità inferiore e paghi per token solo per l'eccesso, in cambio della capacità condivisa best-effort in quei burst.
• Prenota per i periodi di picco. Riserva abbastanza unità di modello per coprire il carico più intenso previsto, così tutto il carico di lavoro funziona con capacità dedicata. Questo dà il comportamento più coerente, in cambio di un impegno maggiore.

In ogni caso, traduci il carico di lavoro in unità del modello con lo strumento integrato Stima unità del modello nel flusso di creazione. Inserisci il formato previsto della richiesta e lo strumento di stima restituisce le unità modello di cui hai bisogno:

• Il numero di richieste al minuto che ti aspetti.
• Numero medio di token di input per richiesta.
• Numero medio di token di output per richiesta.
• Il tuo tasso di hit previsto della cache.

Per dimensionare una linea di base, inserisci il traffico tipico. Per prenotare per il picco di utilizzo, inserisci il traffico più intenso previsto. Puoi eseguire lo stimatore quante volte vuoi prima di impegnarti.

throughput con provisioning riservato rispetto al modello pay-per-token

Il throughput riservato e preallocato e il modello pay-per-token sono complementari, non si escludono a vicenda. Puoi riservare una capacità dedicata per il tuo traffico principale e configurare un fallback al pay-per-token per tutto ciò che va oltre il pool riservato. La tabella seguente mostra dove si inserisce ogni opzione.

Come funziona il prezzo

La fatturazione del throughput provisionato riservato si basa sulla capacità che riservi, non sulle richieste che invii. Ti viene addebitata l'intera prenotazione per tutta la durata del tempo, indipendentemente dal fatto che tu utilizzi o meno la capacità riservata.

• Un termine più lungo comporta un tasso per unità inferiore rispetto a uno più breve.
• Quando un endpoint ha prenotazioni di durate diverse contemporaneamente, ciascuna viene prezzata indipendentemente alla propria tariffa.
• Le tariffe specifiche dipendono dal modello e dal termine.

Prima di iniziare

Crea un endpoint di throughput riservato e provisionato

Tu crei un throughput provisionato riservato in Unity Gateway.

1. In Unity Gateway, seleziona + Modello.

2. Assegna un nome al servizio modello.

3. Per la Destinazione, scegli il throughput provisionato, poi seleziona il link per creare un nuovo endpoint di servizio nello spazio di lavoro. Si apre la finestra di dialogo Configura un endpoint di throughput provisionato .

   

4. Seleziona un modello di base idoneo.

5. Imposta le tue unità del modello, a incrementi di 50. Per dimensionare il pool, seleziona Stima unità del modello, inserisci il carico di lavoro previsto (richieste per minuto, token media di input e output per richiesta e il tasso di successo della cache atteso), e lo stimatore restituisce le unità modello di cui hai bisogno. Vedi Decidi quanto riservare.

   

6. Scegli una durata di prenotazione: 1 mese o 3 mesi. Un termine più lungo comporta una tariffa per unità inferiore.

7. Rivedi le unità e la durata del modello, poi crea l'endpoint. Azure Databricks fornisce la capacità dedicata.

Visualizza e monitora

La pagina dei dettagli dell'endpoint mostra una sezione Configurazione attiva con l'intestazione Throughput con provisioning riservato che elenca le unità di modello riservate e, per ogni prenotazione, la durata, la data di scadenza e lo stato. Quando un endpoint contiene più prenotazioni accumulate, derivanti da operazioni di scale-up o aggiornamenti, queste vengono visualizzate come elenco.

La scheda Metrics mostra la telemetria di servizio usuale, inclusi richieste per minuto, conteggio errori, latenza (p50, p90, p95 e p99), conteggio dei token e tempo fino al primo token, così puoi monitorare l'utilizzo e decidere quando scalare.

Capacità di espansione

Per aggiungere capacità, apri Modifica>Aggiungi capacità, inserisci il numero di unità modello da aggiungere (in incrementi di 50) e scegli un termine. Questo crea una nuova prenotazione sovrapposta a quelle esistenti. Non modifica né interrompe ciò che già hai. La pagina dettagliata elenca poi ogni prenotazione, che scade secondo un proprio calendario.

Scadenza

• Alla scadenza, il pool riservato scade. Il traffico viene quindi gestito come qualsiasi traffico sopra la tua capacità riservata: va al fallback pay-per-token configurato, oppure è soggetto a limitazione della velocità se non hai un fallback. Consulta Gestire il traffico oltre la tua capacità riservata.
• Per mantenere la capacità riservata dopo la fine di un trimestre, crea una nuova prenotazione prima che scada quella attuale. Vedi Aumentare la capacità.
• Le prenotazioni scadute rimangono visibili con un badge scaduto e vengono conservate, non cancellate.

Gestire il traffico superiore alla tua capacità riservata

Un endpoint con throughput provisionato riservato gestisce il traffico utilizzando solo la capacità riservata. Azure Databricks non inoltra automaticamente l'overflow al pay-per-token. Quando il traffico supera la tua capacità riservata, sia per un picco improvviso sia perché una prenotazione è scaduta, queste richieste vengono respinte con un errore di limitazione della frequenza.

Per continuare a servire quell'overflow, configura un fallback sul servizio model service Unity Gateway a monte del tuo endpoint. Imposta il tuo endpoint a throughput provisionato riservato come destinazione primaria e un endpoint pay-per-token o pay-per-token prioritario come fallback. Quando l'endpoint riservato restituisce un errore di limite di velocità, il servizio del modello riprova la richiesta verso la destinazione di fallback, così il carico di lavoro continua a funzionare e paghi per token solo per l'overflow.

Per i passaggi di configurazione, vedi Configura routing e fallback per i modelli.

Limitations

• Puoi creare un endpoint a throughput riservato e provisionato per ogni modello, per ogni workspace, nella versione corrente.
• Le prenotazioni sono prepagate e sono disponibili per l'intero periodo. Non puoi cancellare una prenotazione a metà strada.
• Non puoi cancellare un endpoint che ha una riserva attiva finché la prenotazione non termina.
• Gli utenti senza MANAGE sul modello vedono viste di sola lettura.

Per altre limitazioni delle API del modello di base, vedere Limiti e quote delle API del modello di base.

Risorse aggiuntive

• Priorità con pagamento per token per le API del modello di base
• Riferimento API REST del modello Foundation
• autorizzazioni di Unity Catalog per il modello di fondazione
• API di modelli fondamentali di Databricks