DCGM メトリックと KEDA を使用した AKS での GPU ワークロードの自動スケーリング

この記事では、NVIDIA Data Center GPU Manager (DCGM) エクスポーターによって収集された GPU メトリックを使用して、Azure Kubernetes Service (AKS)で GPU ワークロードを自動スケールする方法について説明します。 これらのメトリックは、Azure Managed Prometheus を通じて公開され、Kubernetes Event-Driven Autoscaling (KEDA) によって使用され、リアルタイム GPU 使用率に基づいてワークロードを自動的にスケーリングします。 このソリューションは、ワークロードの需要に応じてアプリケーションのスケールを動的に調整することで、GPU リソースの使用量を最適化し、運用コストを制御するのに役立ちます。

[前提条件]

  • Azure CLI バージョン 2.60.0 以降。 バージョンを確認するには、az --version を実行します。 インストールまたはアップグレードが必要な場合は、Azure CLI のインストールを参照してください。
  • Helm バージョン 3.17.0 以降がインストールされています。
  • kubectl バージョン 1.28.9 以降がインストールされています。
  • Azure サブスクリプションの NVIDIA GPU クォータ。 この例では、 Standard_NC40ads_H100_v5 SKU を使用しますが、他の NVIDIA H100 VM SKU もサポートされています。

続行する前に、AKS クラスターが次のように構成されていることを確認します。

この時点で次の情報が揃っている必要があります。

NVIDIA DCGM エクスポーター メトリックを使用して新しい KEDA スケーラーを作成する

KEDA スケーラーを作成するには、次の 2 つのコンポーネントが必要です。

  1. Prometheus のクエリエンドポイント。
  2. ユーザーが割り当てたマネージド ID。

Azure Managed Prometheus クエリ エンドポイントを取得する

  1. この値は、Azure ポータルの AKS クラスターに接続されている Azure Monitor ワークスペースの [概要] セクションで確認できます。

    Managed Prometheus クエリ エンドポイントのスクリーンショット。

  2. Azure Managed Prometheus クエリ エンドポイントを環境変数にエクスポートします。

    export PROMETHEUS_QUERY_ENDPOINT="https://example.prometheus.monitor.azure.com"
    

ユーザー割り当てマネージド ID を取得する

ユーザー割り当てマネージド ID は、 KEDA 統合手順に従って以前に作成されました。 必要に応じて、 az identity show コマンドを使用してこの値を再読み込みします。

export USER_ASSIGNED_CLIENT_ID="$(az identity show --resource-group $RESOURCE_GROUP --name $USER_ASSIGNED_IDENTITY_NAME --query 'clientId' -o tsv)"

KEDA スケーラー マニフェストを作成する

このマニフェストは、TriggerAuthentication メトリックによって測定された GPU 使用率に基づいて、自動スケール用のScaledObjectとDCGM_FI_DEV_GPU_UTILを作成します。

Note

この例では、GPU 使用率を測定する DCGM_FI_DEV_GPU_UTIL メトリックを使用します。 その他のメトリックは、ワークロードの要件に応じて DCGM エクスポーターから入手することもできます。 使用可能なメトリックの完全な一覧については、 NVIDIA DCGM エクスポーターのドキュメントを参照してください。

フィールド Description
metricName 監視する GPU メトリックを指定します。 DCGM_FI_DEV_GPU_UTIL は、GPU がワークロードをアクティブに処理している時間の割合を報告します。 通常、この値の範囲は 0 から 100 です。
query デプロイ my-gpu-workload内のすべてのポッドの平均 GPU 使用率を計算する PromQL クエリ。 これにより、スケーリングの決定は、単一のポッドではなく、全体的な GPU 使用率に基づいて行われます。
threshold スケーリングをトリガーするターゲットの平均 GPU 使用率。 平均が 5%を超える場合、スケーラーはポッド レプリカの数を増やします。
activationThreshold スケーリングをアクティブ化するために必要な最小平均 GPU 使用率。 使用率が 2%未満の場合、スケーリング アクションは発生せず、アクティビティが少ない期間中は不要なスケーリングが防止されます。
  1. 次の KEDA マニフェストを作成します。

    cat <<EOF > keda-gpu-scaler-prometheus.yaml
    apiVersion: keda.sh/v1alpha1
    kind: TriggerAuthentication
    metadata:
      name: azure-managed-prometheus-trigger-auth
    spec:
      podIdentity:
        provider: azure-workload
        identityId: ${USER_ASSIGNED_CLIENT_ID}
    ---
    apiVersion: keda.sh/v1alpha1
    kind: ScaledObject
    metadata:
      name: my-gpu-workload
    spec:
      scaleTargetRef:
        name: my-gpu-workload
      minReplicaCount: 1
      maxReplicaCount: 20
      triggers:
        - type: prometheus
          metadata:
            serverAddress: ${PROMETHEUS_QUERY_ENDPOINT}
            metricName: DCGM_FI_DEV_GPU_UTIL
            query: avg(DCGM_FI_DEV_GPU_UTIL{deployment="my-gpu-workload"})
            threshold: '5'
            activationThreshold: '2'
          authenticationRef:
            name: azure-managed-prometheus-trigger-auth
    EOF
    
  2. kubectl apply コマンドを使用して、このマニフェストを適用します。

    kubectl apply -f keda-gpu-scaler-prometheus.yaml
    

新しいスケーリング機能をテストする

  1. AKS クラスター内の GPU リソースを使用するサンプル ワークロードを作成します。 次の例から始めることができます。

    cat <<EOF > my-gpu-workload.yaml
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: my-gpu-workload
      namespace: default
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: my-gpu-workload
      template:
        metadata:
          labels:
            app: my-gpu-workload
        spec:
          tolerations:
            - key: "sku"
              operator: "Equal"
              value: "gpu"
              effect: "NoSchedule"
          containers:
            - name: my-gpu-workload
              image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
              command: ["/bin/sh"]
              args: ["-c", "while true; do python /app/main.py --max_steps=500; done"]
              resources:
                limits:
                  nvidia.com/gpu: 1
    EOF
    
  2. kubectl apply コマンドを使用して、この配置マニフェストを適用します。

    kubectl apply -f my-gpu-workload.yaml
    

    Note

    現在使用可能な GPU ノードがない場合、ポッドはノードがプロビジョニングされるまで Pending 状態のままになります。次のメッセージが表示されます。

    Events:
      Type     Reason            Age    From                Message
      ----     ------            ----   ----                -------
      Warning  FailedScheduling  3m19s  default-scheduler   0/2 nodes are available: 2 Insufficient nvidia.com/gpu. preemption: 0/2 nodes are available: 2 No preemption victims found for incoming pod.
    

    クラスター オートスケーラーは、最終的に新しい GPU ノードを開始してプロビジョニングします。

    Normal   TriggeredScaleUp  2m43s  cluster-autoscaler  pod triggered scale-up: [{aks-gpunp-36854149-vmss 0->1 (max: 2)}]
    

    Note

    プロビジョニングされた GPU SKU のサイズによっては、ノードのプロビジョニングに数分かかる場合があります。

  3. 進行状況を確認するには、 kubectl describe コマンドを使用して、水平ポッド オートスケーラー (HPA) イベントを確認します。

    kubectl describe hpa my-gpu-workload
    

    出力は次のようになります。

    Conditions:
      Type            Status  Reason            Message
      ----            ------  ------            -------
      AbleToScale     True    ReadyForNewScale  recommended size matches current size
      ScalingActive   True    ValidMetricFound  the HPA successfully calculated a replica count from external metric s0-prometheus(&LabelSelector{MatchLabels:map[string]string{scaledobject.keda.sh/name: my-gpu-workload}})
      ScalingLimited  True    TooFewReplicas    the desired replica count is less than the minimum replica count
    
  4. GPU ノードが追加され、ポッドが kubectl get コマンドで実行されていることを確認します。

    kubectl get nodes
    

    出力は次のようになります。

    NAME                                STATUS   ROLES    AGE     VERSION
    aks-gpunp-36854149-vmss000005       Ready    <none>   4m36s   v1.31.7
    aks-nodepool1-34179260-vmss000002   Ready    <none>   26h     v1.31.7
    aks-nodepool1-34179260-vmss000003   Ready    <none>   26h     v1.31.7
    

GPU ノード プールをスケールダウンする

GPU ノード プールをスケールダウンするには、 kubectl delete コマンドを使用してワークロードのデプロイを削除します。

kubectl delete deployment my-gpu-workload

Note

クラスター オートスケーラーを有効にし、ノード プール作成時に min-count を 0 に設定することで、ノード プールをゼロにスケールダウンするように構成できます。 例えば次が挙げられます。

az aks nodepool add \
 --resource-group myResourceGroup \
 --cluster-name myAKSCluster \
 --name gpunp \
 --node-count 1 \
 --node-vm-size Standard_NC40ads_H100_v5 \
 --node-taints sku=gpu:NoSchedule \
 --enable-cluster-autoscaler \
 --min-count 0 \
 --max-count 3

次のステップ