az aiinfraoptimization
Note
本參考文獻是 Azure CLI(版本 2.75.0 或更高版本)aiinfraoptimization 擴充的一部分。 這個擴充功能會在你第一次執行 az aiinfraoptimization 指令時自動安裝。 深入了解擴充功能。
此命令群組是實驗性且正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus
AI 基礎設施優化。
命令
| 名稱 | Description | 類型 | 狀態 |
|---|---|---|---|
| az aiinfraoptimization recommendvmsku |
建議在指定訂閱及 azure 地點內,為 AI 工作負載設定 Azure 虛擬機大小。 |
Extension | Experimental |
az aiinfraoptimization recommendvmsku
指揮組「az aiinfraoptimization」目前處於實驗階段,正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus
建議在指定訂閱及 azure 地點內,為 AI 工作負載設定 Azure 虛擬機大小。
az aiinfraoptimization recommendvmsku [--acquire-policy-token]
[--change-reference]
[--deployment]
[--ids]
[--location]
[--model]
[--optimization]
[--subscription]
[--subscription-options]
[--target-vm-sizes]
[--workload]
範例
建議 AI 推理工作負載的虛擬機大小
az aiinfraoptimization recommendvmsku --location eastus2 --model "{hugging-face-model-id:meta-llama/Llama-3.1-70B-Instruct,parameter-count:70553706496,weight-precision:FP16,num-layers:80,num-key-value-heads:8,head-dim:128,max-context-length:131072}" --workload "{max-concurrent-requests-per-replica:1,token-budget:{prompt-tokens:8000,max-output-tokens:1024}}" --deployment "{replica-count:1,procurement-option:OnDemand}" --optimization "{ranking-preference:Cost,max-deployment-cost-per-hour:{amount:50,currency-code:USD}}" --target-vm-sizes "[Standard_NC48ads_A100_v4,Standard_ND96asr_v4]" --subscription-options "{include-quota:True,include-placement:True,include-pricing:True}"
選擇性參數
下列參數是選擇性參數,但視內容而定,命令可能需要一或多個參數才能成功執行。
自動取得 Azure 原則 令牌以進行此資源操作。
| 屬性 | 值 |
|---|---|
| 參數群組: | Global Policy Arguments |
相關變更的 ID 是為此資源操作所參考的。
| 屬性 | 值 |
|---|---|
| 參數群組: | Global Policy Arguments |
Deployment scale and Azure virtual machine procurement option. 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。
| 屬性 | 值 |
|---|---|
| 參數群組: | Body Arguments |
一或多個資源識別碼(以空格分隔)。 它應該是包含 「資源標識碼」自變數所有資訊的完整資源識別碼。 您應該提供 --ids 或其他「資源識別碼」自變數。
| 屬性 | 值 |
|---|---|
| 參數群組: | Resource Id Arguments |
Location. 值的來源:az account list-locations。 您可以使用 az configure --defaults location=<location>來設定預設位置。
| 屬性 | 值 |
|---|---|
| 參數群組: | Resource Id Arguments |
模型識別碼、大小輸入,以及可選的最大模型上下文長度。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。
| 屬性 | 值 |
|---|---|
| 參數群組: | Body Arguments |
排名偏好與可選的全部署時薪上限。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。
| 屬性 | 值 |
|---|---|
| 參數群組: | Body Arguments |
訂用帳戶的名稱或識別碼。 您可以使用 az account set -s NAME_OR_ID 設定預設訂用帳戶。
| 屬性 | 值 |
|---|---|
| 參數群組: | Resource Id Arguments |
訂閱範圍的查詢將納入建議中。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。
| 屬性 | 值 |
|---|---|
| 參數群組: | Body Arguments |
The Azure virtual machine candidate set. 提供時,只有這些虛擬機大小會被排序。 條目必須非空白且唯一,且以不區分大小寫的方式比較。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。
| 屬性 | 值 |
|---|---|
| 參數群組: | Body Arguments |
推論請求並行與代幣形狀假設。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。
| 屬性 | 值 |
|---|---|
| 參數群組: | Body Arguments |
全域參數
提高日誌詳細程度以顯示所有調試日誌。
| 屬性 | 值 |
|---|---|
| 預設值: | False |
顯示此說明訊息並結束。
只顯示錯誤,隱藏警告。
| 屬性 | 值 |
|---|---|
| 預設值: | False |
輸出格式。
| 屬性 | 值 |
|---|---|
| 預設值: | json |
| 接受的值: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。
增加記錄的詳細程度。 針對完整偵錯記錄使用 --debug。
| 屬性 | 值 |
|---|---|
| 預設值: | False |