az aiinfraoptimization

  • Sperimentale

Note

Questo riferimento fa parte dell'estensione aiinfraoptimization per il interfaccia della riga di comando di Azure (versione 2.75.0 o successiva). L'estensione installerà automaticamente la prima volta che si esegue un comando az aiinfraoptimization . Altre informazioni sulle estensioni.

Questo gruppo di comandi è sperimentale e in fase di sviluppo. Livelli di riferimento e supporto: https://aka.ms/CLI_refstatus

Ottimizzazione dell'infrastruttura di intelligenza artificiale.

Comandi

Nome Descrizione Tipo Status
az aiinfraoptimization recommendvmsku

Raccomanda le dimensioni delle macchine virtuali Azure per un carico di lavoro AI nella posizione specificata dell'abbonamento e di Azure.

 Extension Experimental

az aiinfraoptimization recommendvmsku

Sperimentale

Il gruppo di comandi 'az aiinfraoptimization' è sperimentale e in fase di sviluppo. Livelli di riferimento e supporto: https://aka.ms/CLI_refstatus

Raccomanda le dimensioni delle macchine virtuali Azure per un carico di lavoro AI nella posizione specificata dell'abbonamento e di Azure.

az aiinfraoptimization recommendvmsku [--acquire-policy-token]
                                      [--change-reference]
                                      [--deployment]
                                      [--ids]
                                      [--location]
                                      [--model]
                                      [--optimization]
                                      [--subscription]
                                      [--subscription-options]
                                      [--target-vm-sizes]
                                      [--workload]

Esempio

Consigliare le dimensioni delle macchine virtuali per un carico di lavoro di inferenza di intelligenza artificiale

az aiinfraoptimization recommendvmsku --location eastus2 --model "{hugging-face-model-id:meta-llama/Llama-3.1-70B-Instruct,parameter-count:70553706496,weight-precision:FP16,num-layers:80,num-key-value-heads:8,head-dim:128,max-context-length:131072}" --workload "{max-concurrent-requests-per-replica:1,token-budget:{prompt-tokens:8000,max-output-tokens:1024}}" --deployment "{replica-count:1,procurement-option:OnDemand}" --optimization "{ranking-preference:Cost,max-deployment-cost-per-hour:{amount:50,currency-code:USD}}" --target-vm-sizes "[Standard_NC48ads_A100_v4,Standard_ND96asr_v4]" --subscription-options "{include-quota:True,include-placement:True,include-pricing:True}"

Parametri facoltativi

I seguenti parametri sono facoltativi, ma a seconda del contesto, uno o più di questi potrebbero diventare necessari per l'esecuzione corretta del comando.

--acquire-policy-token

Acquisizione automatica di un token Criteri di Azure per questa operazione di risorsa.

Proprietà Valore
Gruppo di parametri: Global Policy Arguments
--change-reference

ID riferimento di modifica correlato per questa operazione di risorsa.

Proprietà Valore
Gruppo di parametri: Global Policy Arguments
--deployment

Scalabilità della distribuzione e opzione di approvvigionamento delle macchine virtuali Azure. Supportare la sintassi abbreviata, json-file e yaml-file. Prova "??" per mostrare di più.

Proprietà Valore
Gruppo di parametri: Body Arguments
--ids

Uno o più ID risorsa (delimitati da spazi). Deve essere un ID risorsa completo contenente tutte le informazioni degli argomenti "ID risorsa". È necessario specificare --ids o altri argomenti "ID risorsa".

Proprietà Valore
Gruppo di parametri: Resource Id Arguments
--location -l

Location. Usare i valori ottenuti con az account list-locations. È possibile configurare la posizione predefinito con az configure --defaults location=<location>.

Proprietà Valore
Gruppo di parametri: Resource Id Arguments
--model

Identità del modello, dimensioni degli input e lunghezza massima del contesto del modello facoltativa. Supportare la sintassi abbreviata, json-file e yaml-file. Prova "??" per mostrare di più.

Proprietà Valore
Gruppo di parametri: Body Arguments
--optimization

Preferenza di ranking e limite opzionale di costo orario a livello di distribuzione a livello di distribuzione. Supportare la sintassi abbreviata, json-file e yaml-file. Prova "??" per mostrare di più.

Proprietà Valore
Gruppo di parametri: Body Arguments
--subscription

Nome o ID della sottoscrizione. È possibile configurare la sottoscrizione predefinita usando az account set -s NAME_OR_ID.

Proprietà Valore
Gruppo di parametri: Resource Id Arguments
--subscription-options

Le ricerche con ambito di abbonamento da includere nella raccomandazione. Supportare la sintassi abbreviata, json-file e yaml-file. Prova "??" per mostrare di più.

Proprietà Valore
Gruppo di parametri: Body Arguments
--target-vm-sizes

Set candidato Azure macchina virtuale. Se specificato, vengono classificate solo queste dimensioni della macchina virtuale. Le voci non devono essere vuote e univoce, senza distinzione tra maiuscole e minuscole. Supportare la sintassi abbreviata, json-file e yaml-file. Prova "??" per mostrare di più.

Proprietà Valore
Gruppo di parametri: Body Arguments
--workload

Presupposti della concorrenza delle richieste di inferenza e forma del token. Supportare la sintassi abbreviata, json-file e yaml-file. Prova "??" per mostrare di più.

Proprietà Valore
Gruppo di parametri: Body Arguments
Parametri globali
--debug

Aumentare la verbosità dei log per visualizzare tutti i log di debug.

Proprietà Valore
Valore predefinito: False
--help -h

Mostra questo messaggio Guida, esci.

--only-show-errors

Mostra solo gli errori, eliminando gli avvisi.

Proprietà Valore
Valore predefinito: False
--output -o

Formato dell'output.

Proprietà Valore
Valore predefinito: json
Valori accettati: json, jsonc, none, table, tsv, yaml, yamlc
--query

Stringa di query JMESPath. Per altre informazioni ed esempi, vedere http://jmespath.org/.

--verbose

Aumentare il livello di dettaglio della registrazione. Usare --debug per log di debug completi.

Proprietà Valore
Valore predefinito: False