この記事では、NVIDIA Data Center GPU Manager (DCGM) エクスポーターによって収集された GPU メトリックを使用して、Azure Kubernetes Service (AKS)で GPU ワークロードを自動スケールする方法について説明します。 これらのメトリックは、Azure Managed Prometheus を通じて公開され、Kubernetes Event-Driven Autoscaling (KEDA) によって使用され、リアルタイム GPU 使用率に基づいてワークロードを自動的にスケーリングします。 このソリューションは、ワークロードの需要に応じてアプリケーションのスケールを動的に調整することで、GPU リソースの使用量を最適化し、運用コストを制御するのに役立ちます。
[前提条件]
-
Azure CLI バージョン 2.60.0 以降。 バージョンを確認するには、
az --versionを実行します。 インストールまたはアップグレードが必要な場合は、Azure CLI のインストールを参照してください。 - Helm バージョン 3.17.0 以降がインストールされています。
- kubectl バージョン 1.28.9 以降がインストールされています。
- Azure サブスクリプションの NVIDIA GPU クォータ。 この例では、
Standard_NC40ads_H100_v5SKU を使用しますが、他の NVIDIA H100 VM SKU もサポートされています。
続行する前に、AKS クラスターが次のように構成されていることを確認します。
- KEDA を Azure Kubernetes Service クラスターと統合します。
- Azure Managed Prometheus と Azure Managed Grafana を使用して、NVIDIA DCGM エクスポーターからの GPU メトリックを監視します。
この時点で次の情報が揃っている必要があります。
- NVIDIA GPU 対応ノード プールと GPU がスケジュール可能と確認された AKS クラスター。
- AKS クラスターで有効になっている Azure Managed Prometheus と Grafana。 クラスターで KEDA が有効になっています。
- KEDA によって使用されるユーザー割り当てマネージド ID によって、AKS クラスターに関連付けられている Azure Monitor ワークスペースをスコープとする
Monitoring Data Readerロールが割り当てられます。
NVIDIA DCGM エクスポーター メトリックを使用して新しい KEDA スケーラーを作成する
KEDA スケーラーを作成するには、次の 2 つのコンポーネントが必要です。
- Prometheus のクエリエンドポイント。
- ユーザーが割り当てたマネージド ID。
Azure Managed Prometheus クエリ エンドポイントを取得する
この値は、Azure ポータルの AKS クラスターに接続されている Azure Monitor ワークスペースの [概要] セクションで確認できます。
Azure Managed Prometheus クエリ エンドポイントを環境変数にエクスポートします。
export PROMETHEUS_QUERY_ENDPOINT="https://example.prometheus.monitor.azure.com"
ユーザー割り当てマネージド ID を取得する
ユーザー割り当てマネージド ID は、 KEDA 統合手順に従って以前に作成されました。 必要に応じて、 az identity show コマンドを使用してこの値を再読み込みします。
export USER_ASSIGNED_CLIENT_ID="$(az identity show --resource-group $RESOURCE_GROUP --name $USER_ASSIGNED_IDENTITY_NAME --query 'clientId' -o tsv)"
KEDA スケーラー マニフェストを作成する
このマニフェストは、TriggerAuthentication メトリックによって測定された GPU 使用率に基づいて、自動スケール用のScaledObjectとDCGM_FI_DEV_GPU_UTILを作成します。
Note
この例では、GPU 使用率を測定する DCGM_FI_DEV_GPU_UTIL メトリックを使用します。 その他のメトリックは、ワークロードの要件に応じて DCGM エクスポーターから入手することもできます。 使用可能なメトリックの完全な一覧については、 NVIDIA DCGM エクスポーターのドキュメントを参照してください。
| フィールド | Description |
|---|---|
metricName |
監視する GPU メトリックを指定します。
DCGM_FI_DEV_GPU_UTIL は、GPU がワークロードをアクティブに処理している時間の割合を報告します。 通常、この値の範囲は 0 から 100 です。 |
query |
デプロイ my-gpu-workload内のすべてのポッドの平均 GPU 使用率を計算する PromQL クエリ。 これにより、スケーリングの決定は、単一のポッドではなく、全体的な GPU 使用率に基づいて行われます。 |
threshold |
スケーリングをトリガーするターゲットの平均 GPU 使用率。 平均が 5%を超える場合、スケーラーはポッド レプリカの数を増やします。 |
activationThreshold |
スケーリングをアクティブ化するために必要な最小平均 GPU 使用率。 使用率が 2%未満の場合、スケーリング アクションは発生せず、アクティビティが少ない期間中は不要なスケーリングが防止されます。 |
次の KEDA マニフェストを作成します。
cat <<EOF > keda-gpu-scaler-prometheus.yaml apiVersion: keda.sh/v1alpha1 kind: TriggerAuthentication metadata: name: azure-managed-prometheus-trigger-auth spec: podIdentity: provider: azure-workload identityId: ${USER_ASSIGNED_CLIENT_ID} --- apiVersion: keda.sh/v1alpha1 kind: ScaledObject metadata: name: my-gpu-workload spec: scaleTargetRef: name: my-gpu-workload minReplicaCount: 1 maxReplicaCount: 20 triggers: - type: prometheus metadata: serverAddress: ${PROMETHEUS_QUERY_ENDPOINT} metricName: DCGM_FI_DEV_GPU_UTIL query: avg(DCGM_FI_DEV_GPU_UTIL{deployment="my-gpu-workload"}) threshold: '5' activationThreshold: '2' authenticationRef: name: azure-managed-prometheus-trigger-auth EOFkubectl applyコマンドを使用して、このマニフェストを適用します。kubectl apply -f keda-gpu-scaler-prometheus.yaml
新しいスケーリング機能をテストする
AKS クラスター内の GPU リソースを使用するサンプル ワークロードを作成します。 次の例から始めることができます。
cat <<EOF > my-gpu-workload.yaml apiVersion: apps/v1 kind: Deployment metadata: name: my-gpu-workload namespace: default spec: replicas: 1 selector: matchLabels: app: my-gpu-workload template: metadata: labels: app: my-gpu-workload spec: tolerations: - key: "sku" operator: "Equal" value: "gpu" effect: "NoSchedule" containers: - name: my-gpu-workload image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu command: ["/bin/sh"] args: ["-c", "while true; do python /app/main.py --max_steps=500; done"] resources: limits: nvidia.com/gpu: 1 EOFkubectl applyコマンドを使用して、この配置マニフェストを適用します。kubectl apply -f my-gpu-workload.yamlNote
現在使用可能な GPU ノードがない場合、ポッドはノードがプロビジョニングされるまで
Pending状態のままになります。次のメッセージが表示されます。Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning FailedScheduling 3m19s default-scheduler 0/2 nodes are available: 2 Insufficient nvidia.com/gpu. preemption: 0/2 nodes are available: 2 No preemption victims found for incoming pod.クラスター オートスケーラーは、最終的に新しい GPU ノードを開始してプロビジョニングします。
Normal TriggeredScaleUp 2m43s cluster-autoscaler pod triggered scale-up: [{aks-gpunp-36854149-vmss 0->1 (max: 2)}]Note
プロビジョニングされた GPU SKU のサイズによっては、ノードのプロビジョニングに数分かかる場合があります。
進行状況を確認するには、
kubectl describeコマンドを使用して、水平ポッド オートスケーラー (HPA) イベントを確認します。kubectl describe hpa my-gpu-workload出力は次のようになります。
Conditions: Type Status Reason Message ---- ------ ------ ------- AbleToScale True ReadyForNewScale recommended size matches current size ScalingActive True ValidMetricFound the HPA successfully calculated a replica count from external metric s0-prometheus(&LabelSelector{MatchLabels:map[string]string{scaledobject.keda.sh/name: my-gpu-workload}}) ScalingLimited True TooFewReplicas the desired replica count is less than the minimum replica countGPU ノードが追加され、ポッドが
kubectl getコマンドで実行されていることを確認します。kubectl get nodes出力は次のようになります。
NAME STATUS ROLES AGE VERSION aks-gpunp-36854149-vmss000005 Ready <none> 4m36s v1.31.7 aks-nodepool1-34179260-vmss000002 Ready <none> 26h v1.31.7 aks-nodepool1-34179260-vmss000003 Ready <none> 26h v1.31.7
GPU ノード プールをスケールダウンする
GPU ノード プールをスケールダウンするには、 kubectl delete コマンドを使用してワークロードのデプロイを削除します。
kubectl delete deployment my-gpu-workload
Note
クラスター オートスケーラーを有効にし、ノード プール作成時に min-count を 0 に設定することで、ノード プールをゼロにスケールダウンするように構成できます。 例えば次が挙げられます。
az aks nodepool add \
--resource-group myResourceGroup \
--cluster-name myAKSCluster \
--name gpunp \
--node-count 1 \
--node-vm-size Standard_NC40ads_H100_v5 \
--node-taints sku=gpu:NoSchedule \
--enable-cluster-autoscaler \
--min-count 0 \
--max-count 3
次のステップ
- AKS に マルチインスタンス GPU (MIG) ワークロードをデプロイします。
- AI 推論と微調整のための AKS の KAITO について説明します。
- AKS 上の Ray クラスターの詳細を確認します。