az aiinfraoptimization

Note

このリファレンスは、Azure CLI (バージョン 2.75.0 以降) の aiinfraoptimization 拡張機能の一部です。 拡張機能は、 az aiinfraoptimization コマンドを初めて実行するときに自動的にインストールされます。 拡張機能の詳細については、 を参照してください。

このコマンド グループは試験段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus

AI インフラストラクチャの最適化。

コマンド

Name 説明 型 状態
az aiinfraoptimization recommendvmsku

指定されたサブスクリプションおよびazureのロケーションにおけるAIワークロードのAzure仮想マシンサイズを推奨します。

Extension Experimental

az aiinfraoptimization recommendvmsku

実験用

コマンド グループ 'az aiinfraoptimization' は試験段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus

指定されたサブスクリプションおよびazureのロケーションにおけるAIワークロードのAzure仮想マシンサイズを推奨します。

az aiinfraoptimization recommendvmsku [--acquire-policy-token]
                                      [--change-reference]
                                      [--deployment]
                                      [--ids]
                                      [--location]
                                      [--model]
                                      [--optimization]
                                      [--subscription]
                                      [--subscription-options]
                                      [--target-vm-sizes]
                                      [--workload]

例

AI 推論ワークロードに仮想マシンのサイズを推奨する

az aiinfraoptimization recommendvmsku --location eastus2 --model "{hugging-face-model-id:meta-llama/Llama-3.1-70B-Instruct,parameter-count:70553706496,weight-precision:FP16,num-layers:80,num-key-value-heads:8,head-dim:128,max-context-length:131072}" --workload "{max-concurrent-requests-per-replica:1,token-budget:{prompt-tokens:8000,max-output-tokens:1024}}" --deployment "{replica-count:1,procurement-option:OnDemand}" --optimization "{ranking-preference:Cost,max-deployment-cost-per-hour:{amount:50,currency-code:USD}}" --target-vm-sizes "[Standard_NC48ads_A100_v4,Standard_ND96asr_v4]" --subscription-options "{include-quota:True,include-placement:True,include-pricing:True}"

オプションのパラメーター

次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。

--acquire-policy-token

このリソース操作のAzure Policy トークンを自動的に取得します。

プロパティ 値
パラメーター グループ: Global Policy Arguments
--change-reference

このリソース操作の関連する変更参照 ID。

プロパティ 値
パラメーター グループ: Global Policy Arguments
--deployment

デプロイスケールとAzure仮想マシンの調達オプション。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。

プロパティ 値
パラメーター グループ: Body Arguments
--ids

1 つ以上のリソース ID (スペース区切り)。 これは、'Resource Id' 引数のすべての情報を含む完全なリソース ID である必要があります。 --ids または他の 'Resource Id' 引数を指定する必要があります。

プロパティ 値
パラメーター グループ: Resource Id Arguments
--location -l

Location. 値のソース: az account list-locations az configure --defaults location=<location> を使用して、既定の場所を構成できます。

プロパティ 値
パラメーター グループ: Resource Id Arguments
--model

モデル ID、サイズ設定入力、およびオプションの最大モデル コンテキスト長。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。

プロパティ 値
パラメーター グループ: Body Arguments
--optimization

順位付けの優先順位とオプションの展開全体の時間ごとのコスト上限。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。

プロパティ 値
パラメーター グループ: Body Arguments
--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

プロパティ 値
パラメーター グループ: Resource Id Arguments
--subscription-options

サブスクリプションの範囲で検索する内容は推奨事項に含められます。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。

プロパティ 値
パラメーター グループ: Body Arguments
--target-vm-sizes

Azure仮想マシン候補セット。 指定すると、これらの仮想マシン のサイズのみがランク付けされます。 エントリは空白以外で一意である必要があります。大文字と小文字は区別されません。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。

プロパティ 値
パラメーター グループ: Body Arguments
--workload

推論要求のコンカレンシーとトークンシェイプの前提条件。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。

プロパティ 値
パラメーター グループ: Body Arguments
グローバル パラメーター
--debug

ログの詳細度を上げて、すべてのデバッグ ログを表示します。

プロパティ 値
規定値: False
--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告を抑制します。

プロパティ 値
規定値: False
--output -o

出力フォーマット。

プロパティ 値
規定値: json
指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc
--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。

--verbose

ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。

プロパティ 値
規定値: False