Generare metriche per l'utilizzo di token del modello linguistico di grandi dimensioni

SI APPLICA A: Tutti i livelli di Gestione API

I llm-emit-token-metric criteri inviano metriche personalizzate ad Application Insights sull'utilizzo di token LLM (Large Language Model) tramite LE API LLM.

Le metriche del conteggio dei token dipendono dal modello e dal provider e possono includere token totali, prompt e completamento. In anteprima, le metriche di conteggio dei token includono le categorie di token, di ragionamento, di pensiero e di altre categorie.

Note

Impostare gli elementi e gli elementi figlio del criterio nell'ordine specificato nell'istruzione del criterio. Altre informazioni su come impostare o modificare i criteri di API Management.

API del modello supportate

Questo criterio funziona con le API LLM aggiunte a Gestione API conformi a uno degli schemi API seguenti:

  • API di completamento o risposte di OpenAI Chat
  • API messaggi Anthropic (attualmente supportata nei livelli di Gestione API v2)
  • Google Vertex AI API

Limiti per le metriche personalizzate

Monitoraggio di Azure impone limiti di utilizzo per le metriche personalizzate che possono influire sulla capacità di emettere metriche da Gestione API. Ad esempio, Monitoraggio di Azure imposta attualmente un limite di 10 chiavi di dimensione per metrica e un limite di 50.000 serie temporali attive totali per area in una sottoscrizione (in un periodo di 12 ore). In Gestione API, 5 di questi vengono usati per le dimensioni predefinite, tra cui:

  • Region
  • ID del servizio
  • Nome servizio
  • Tipo di servizio

Questi limiti hanno le implicazioni seguenti per la configurazione di metriche personalizzate in un criterio di Gestione API, emit-metric ad esempio o azure-openai-emit-token-metric:

  • È possibile configurare un massimo di 5 dimensioni personalizzate per criterio.

  • Il numero di serie temporali attive generate dalla policy è il prodotto del numero di valori unici di ogni dimensione configurata per ogni namespace. Ad esempio, se nel criterio sono state configurate tre dimensioni personalizzate e ogni dimensione ha 10 valori possibili all'interno del periodo, il criterio contribuirà con 1.000 (10 x 10 x 10) serie temporali attive.

  • API Management limita ogni dimensione a 100 valori unici e ogni namespace metrico a 1.000 serie temporali attive. Quando si raggiunge uno dei limiti, eventuali nuovi valori di dimensione o serie temporali non vengono tracciati e i dati metrici corrispondenti vengono silenziosamente scartati.

  • Se si configura il criterio in più istanze di Gestione API che si trovano nella stessa area di una sottoscrizione, tutte le istanze possono contribuire al limite di serie temporali attive a livello di area.

Altre informazioni sulle limitazioni e sulle considerazioni sulla progettazione per le metriche personalizzate in Monitoraggio di Azure.

Prerequisites

Dichiarazione della politica

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributes

Attribute Description Required Valore predefinito
namespace Una stringa. Spazio dei nomi della metrica. Le espressioni di criteri non sono consentite. No API Management

Elements

Element Description Required
dimension Aggiungere uno o più di questi elementi per ogni dimensione inclusa nella metrica. Yes

Attributi dimensione

Attribute Description Required Valore predefinito
name Una stringa o espressione di criteri. Nome della dimensione. Yes N/A
value Una stringa o espressione di criteri. Valore della dimensione. Può essere omesso solo se name corrisponde a una delle dimensioni predefinite. In tal caso, il valore viene fornito in base al nome della dimensione. No N/A

Nomi di dimensione predefiniti che possono essere usati senza valore

  • API ID
  • ID operazione
  • ID prodotto
  • ID utente
  • ID sottoscrizione
  • Location
  • ID del Gateway
  • ID back-end

Usage

Note sull'utilizzo

  • Questi criteri possono essere usato più volte per ogni definizione di criteri.
  • È possibile configurare al massimo 5 dimensioni personalizzate per questo criterio.
  • I valori nella sezione utilizzo della risposta dall'API LLM, quando disponibili, vengono utilizzati per determinare le metriche dei token.
  • Certi endpoint LLM supportano il flusso di risposte. Se lo stream viene interrotto o terminato inaspettatamente, i conteggi dei token catturati sono imprecisi.
  • Alcuni modelli OpenAI, specialmente durante lo streaming, non includono di default il conteggio dei token nella risposta. Per ricevere il numero dei token, imposta il include_usage parametro a true nella richiesta API.

Example

L'esempio seguente invia le metriche del numero di token LLM ad Application Insights insieme all'ID API come dimensione predefinita.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Contenuti correlati

Per ulteriori informazioni sull'utilizzo dei criteri, vedere:

  • Last updated on