az aiinfraoptimization

Note

本參考文獻是 Azure CLI(版本 2.75.0 或更高版本)aiinfraoptimization 擴充的一部分。 這個擴充功能會在你第一次執行 az aiinfraoptimization 指令時自動安裝。 深入了解擴充功能。

此命令群組是實驗性且正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus

AI 基礎設施優化。

命令

名稱 Description 類型 狀態
az aiinfraoptimization recommendvmsku

建議在指定訂閱及 azure 地點內,為 AI 工作負載設定 Azure 虛擬機大小。

Extension Experimental

az aiinfraoptimization recommendvmsku

實驗

指揮組「az aiinfraoptimization」目前處於實驗階段,正在開發中。 參考和支援層級: https://aka.ms/CLI_refstatus

建議在指定訂閱及 azure 地點內,為 AI 工作負載設定 Azure 虛擬機大小。

az aiinfraoptimization recommendvmsku [--acquire-policy-token]
                                      [--change-reference]
                                      [--deployment]
                                      [--ids]
                                      [--location]
                                      [--model]
                                      [--optimization]
                                      [--subscription]
                                      [--subscription-options]
                                      [--target-vm-sizes]
                                      [--workload]

範例

建議 AI 推理工作負載的虛擬機大小

az aiinfraoptimization recommendvmsku --location eastus2 --model "{hugging-face-model-id:meta-llama/Llama-3.1-70B-Instruct,parameter-count:70553706496,weight-precision:FP16,num-layers:80,num-key-value-heads:8,head-dim:128,max-context-length:131072}" --workload "{max-concurrent-requests-per-replica:1,token-budget:{prompt-tokens:8000,max-output-tokens:1024}}" --deployment "{replica-count:1,procurement-option:OnDemand}" --optimization "{ranking-preference:Cost,max-deployment-cost-per-hour:{amount:50,currency-code:USD}}" --target-vm-sizes "[Standard_NC48ads_A100_v4,Standard_ND96asr_v4]" --subscription-options "{include-quota:True,include-placement:True,include-pricing:True}"

選擇性參數

下列參數是選擇性參數,但視內容而定,命令可能需要一或多個參數才能成功執行。

--acquire-policy-token

自動取得 Azure 原則 令牌以進行此資源操作。

屬性 值
參數群組: Global Policy Arguments
--change-reference

相關變更的 ID 是為此資源操作所參考的。

屬性 值
參數群組: Global Policy Arguments
--deployment

Deployment scale and Azure virtual machine procurement option. 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。

屬性 值
參數群組: Body Arguments
--ids

一或多個資源識別碼(以空格分隔)。 它應該是包含 「資源標識碼」自變數所有資訊的完整資源識別碼。 您應該提供 --ids 或其他「資源識別碼」自變數。

屬性 值
參數群組: Resource Id Arguments
--location -l

Location. 值的來源:az account list-locations。 您可以使用 az configure --defaults location=<location>來設定預設位置。

屬性 值
參數群組: Resource Id Arguments
--model

模型識別碼、大小輸入,以及可選的最大模型上下文長度。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。

屬性 值
參數群組: Body Arguments
--optimization

排名偏好與可選的全部署時薪上限。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。

屬性 值
參數群組: Body Arguments
--subscription

訂用帳戶的名稱或識別碼。 您可以使用 az account set -s NAME_OR_ID 設定預設訂用帳戶。

屬性 值
參數群組: Resource Id Arguments
--subscription-options

訂閱範圍的查詢將納入建議中。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。

屬性 值
參數群組: Body Arguments
--target-vm-sizes

The Azure virtual machine candidate set. 提供時,只有這些虛擬機大小會被排序。 條目必須非空白且唯一,且以不區分大小寫的方式比較。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。

屬性 值
參數群組: Body Arguments
--workload

推論請求並行與代幣形狀假設。 支援速記語法、json-file 和 yaml-file。 請嘗試 “??” 以顯示更多。

屬性 值
參數群組: Body Arguments
全域參數
--debug

提高日誌詳細程度以顯示所有調試日誌。

屬性 值
預設值: False
--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤,隱藏警告。

屬性 值
預設值: False
--output -o

輸出格式。

屬性 值
預設值: json
接受的值: json, jsonc, none, table, tsv, yaml, yamlc
--query

JMESPath 查詢字串。 如需詳細資訊和範例,請參閱 http://jmespath.org/。

--verbose

增加記錄的詳細程度。 針對完整偵錯記錄使用 --debug。

屬性 值
預設值: False