az aiinfraoptimization
Note
このリファレンスは、Azure CLI (バージョン 2.75.0 以降) の aiinfraoptimization 拡張機能の一部です。 拡張機能は、 az aiinfraoptimization コマンドを初めて実行するときに自動的にインストールされます。 拡張機能の詳細については、 を参照してください。
このコマンド グループは試験段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus
AI インフラストラクチャの最適化。
コマンド
| Name | 説明 | 型 | 状態 |
|---|---|---|---|
| az aiinfraoptimization recommendvmsku |
指定されたサブスクリプションおよびazureのロケーションにおけるAIワークロードのAzure仮想マシンサイズを推奨します。 |
Extension | Experimental |
az aiinfraoptimization recommendvmsku
コマンド グループ 'az aiinfraoptimization' は試験段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus
指定されたサブスクリプションおよびazureのロケーションにおけるAIワークロードのAzure仮想マシンサイズを推奨します。
az aiinfraoptimization recommendvmsku [--acquire-policy-token]
[--change-reference]
[--deployment]
[--ids]
[--location]
[--model]
[--optimization]
[--subscription]
[--subscription-options]
[--target-vm-sizes]
[--workload]
例
AI 推論ワークロードに仮想マシンのサイズを推奨する
az aiinfraoptimization recommendvmsku --location eastus2 --model "{hugging-face-model-id:meta-llama/Llama-3.1-70B-Instruct,parameter-count:70553706496,weight-precision:FP16,num-layers:80,num-key-value-heads:8,head-dim:128,max-context-length:131072}" --workload "{max-concurrent-requests-per-replica:1,token-budget:{prompt-tokens:8000,max-output-tokens:1024}}" --deployment "{replica-count:1,procurement-option:OnDemand}" --optimization "{ranking-preference:Cost,max-deployment-cost-per-hour:{amount:50,currency-code:USD}}" --target-vm-sizes "[Standard_NC48ads_A100_v4,Standard_ND96asr_v4]" --subscription-options "{include-quota:True,include-placement:True,include-pricing:True}"
オプションのパラメーター
次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。
このリソース操作のAzure Policy トークンを自動的に取得します。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Global Policy Arguments |
このリソース操作の関連する変更参照 ID。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Global Policy Arguments |
デプロイスケールとAzure仮想マシンの調達オプション。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Body Arguments |
1 つ以上のリソース ID (スペース区切り)。 これは、'Resource Id' 引数のすべての情報を含む完全なリソース ID である必要があります。 --ids または他の 'Resource Id' 引数を指定する必要があります。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
Location. 値のソース: az account list-locations
az configure --defaults location=<location> を使用して、既定の場所を構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
モデル ID、サイズ設定入力、およびオプションの最大モデル コンテキスト長。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Body Arguments |
順位付けの優先順位とオプションの展開全体の時間ごとのコスト上限。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Body Arguments |
サブスクリプションの名前または ID。
az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
サブスクリプションの範囲で検索する内容は推奨事項に含められます。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Body Arguments |
Azure仮想マシン候補セット。 指定すると、これらの仮想マシン のサイズのみがランク付けされます。 エントリは空白以外で一意である必要があります。大文字と小文字は区別されません。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Body Arguments |
推論要求のコンカレンシーとトークンシェイプの前提条件。 短縮構文、json-file、yaml-file をサポートします。 詳細を表示するには、"??" を試してください。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Body Arguments |
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |