Azure Kubernetes Service (AKS)のコンテナー ネットワーク メトリックを設定する

コンテナー ネットワーク メトリックを使用して、パケットのドロップを特定し、DNS の動作を調査し、ネットワークの問題に関連するワークロードを見つけます。 このガイドでは、Azure Kubernetes Service (AKS)での収集を有効にし、Prometheus バックエンドに接続し、ACNS Grafana ダッシュボードでネットワーク正常性を表示する方法について説明します。

Prometheus 向け Azure Monitor マネージド サービスを使用し、Azure ポータルでネットワーク ダッシュボードを直接表示します。 ポータルの Grafana ダッシュボードは、追加のダッシュボード コストなしで利用できます。Azure Managed Grafana インスタンスを作成する必要はありません。 または、独自の Prometheus および Grafana デプロイを使用します。 メトリック収集は、サポートされている Cilium データ プレーンおよび非 Cilium データ プレーン全体で利用できます。ポッド レベルのメトリックには Linux が必要です。 プラットフォームの対象範囲と使用可能なメトリックについては、 メトリックの概要 を参照してください。

Cilium クラスターでは、ワークロードまたはセキュリティ ID によって個々のメトリックをフィルター処理したり、外部の宛先 IP と宛先ポートのメトリックを有効にしたりできます。 これらは、基本的なコレクションの要件ではなく、省略可能な次の手順です。

たとえば、1 つのアプリケーションからフロー メトリックを収集するためのインクルード フィルターから始めます。 除外フィルターは、特定の宛先へのトラフィックを除外するなど、例外が必要な場合にのみ追加します。 ロード テストのドロップ観測値を削除しながら広範なデータ収集を保持するには、代わりに除外専用フィルターを使用します。 メトリック フィルターの例を参照してください。

Step 結果
1. ACNS を有効にしてクラスターに接続する ネットワークの可観測性は、サポートされているノードで使用できます。
2. 収集パスを選択 マネージドまたは自己管理の Prometheus は、エージェントのメトリクスを収集します。
3. 必要に応じて、既定で除外されるメトリックを許可する Prometheus は、エージェントのメトリック エンドポイントから必要なメトリックを収集します。
4. ネットワーク ダッシュボードを開く ネットワークの正常性とワークロードのトラフィックは、Azure ポータルまたは独自の Grafana デプロイで確認できます。

メトリックではなく、格納されたログまたはリアルタイムの Hubble 検査については、「 コンテナー ネットワーク ログの設定」を参照してください。

Important

Azure ポータルのダッシュボード エクスペリエンスは無料です。 ACNS とメトリックのインジェストとストレージでは、引き続き料金が発生する可能性があります。 可能な場合は、サポートされている既存のクラスターと監視リソースを使用します。 収集を有効にする前に、 ACNS の価格 と監視サービスの価格を確認します。

Prerequisites

  • アクティブなサブスクリプションが含まれる Azure アカウント。 必要に応じて、無料アカウントを作成してください。
  • Azure Cloud Shell の Bash、または最新の Azure CLI と kubectl がインストールされたローカルの Bash ターミナル。 CLI のインストールを確認するには、az --versionを実行します。
  • クラスターと選択した監視リソースを作成または更新するためのアクセス許可、およびメトリックを保持する Azure Monitor ワークスペースへの読み取りアクセス。 マネージド パスについては、Azure Monitor の前提条件を確認してください。
  • サポートされている AKS Kubernetes バージョンとノード オペレーティング システム。 廃止された Azure Linux 2.0 イメージに新しいノード プールを作成しないでください。 「ノードのオペレーティング システムをアップグレードする」を参照してください。
  • ネットワーク アクティビティを使用してワークロードを実行し、ワークロード ダッシュボードにデータを表示します。 空のクラスターには、アプリケーション トラフィックは表示されません。
  • Cilium の DNS メトリックの場合は、DNS 検査ポリシーを適用し、DNS トラフィックを生成することで、DNS 可視性を構成します。 HTTP メトリックの場合は、 レイヤー 7 のポリシー構成を完了します。クラスターで L7 を有効にし、ワークロードに HTTP 検査ポリシーを適用し、そのポリシーを介して HTTP トラフィックを生成します。 メトリック フィルターを構成しても、これらのポリシーが適用されたり、観測の生成が検証されたりすることはありません。 基本的なノード レベルのネットワーク監視にはどちらも必要ありません。

手順 1: ACNS を有効にしてクラスターに接続する

ローカル CLI を使用している場合は、 az login でサインインします。 サブスクリプションを選択し、このガイド全体で使用される値を設定します。

az account set --subscription "<subscription-id>"
export RESOURCE_GROUP="<aks-resource-group>"
export CLUSTER_NAME="<aks-cluster-name>"
export LOCATION="<azure-region>"

既存のクラスターを使用する

ACNS が既に有効になっている場合は、update コマンドをスキップします。 それ以外の場合は、有効にしてください。

az aks update \
    --resource-group "$RESOURCE_GROUP" \
    --name "$CLUSTER_NAME" \
    --enable-acns

ACNS を有効にしても、既存のクラスターのデータ プレーンは変更されません。 メトリック のフィルター処理と、後で説明する追加のメトリック有効化には Cilium が必要です。 その他の ACNS 機能とその前提条件については、 ACNS の概要を参照してください。

または、新しいクラスターを作成する

リソース グループがまだ存在しない場合は作成します。

az group create --name "$RESOURCE_GROUP" --location "$LOCATION"

次のオプションのいずれか1つを選択してください。 これらのコマンドでは、古いリリースをピン留めするのではなく、リージョンの既定の AKS Kubernetes バージョンを使用します。 サポートされている別のバージョンを選択するには、az aks get-versions --location "$LOCATION" -o table を確認し、選択したバージョンを指定して --kubernetes-version を追加します。

Cilium

ソース レベルのメトリック フィルター処理または追加の外部 IP と宛先ポートのメトリックを使用する場合は、Cilium を選択します。

az aks create \
    --name "$CLUSTER_NAME" \
    --resource-group "$RESOURCE_GROUP" \
    --generate-ssh-keys \
    --location "$LOCATION" \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --network-dataplane cilium \
    --node-count 2 \
    --pod-cidr 192.168.0.0/16 \
    --enable-acns

非cilium

このオプションでは、Cilium 以外のデータ プレーンで使用できるメトリックの収集がサポートされます。 Cilium 固有の CNM フィルタリング パスや Container Network Security 機能は提供されません。 FIPS の制限については、 メトリック プラットフォームの制限事項を参照してください。

az aks create \
    --name "$CLUSTER_NAME" \
    --resource-group "$RESOURCE_GROUP" \
    --generate-ssh-keys \
    --location "$LOCATION" \
    --network-plugin azure \
    --network-plugin-mode overlay \
    --pod-cidr 192.168.0.0/16 \
    --enable-acns

クラスターの資格情報を取得する

新規または既存のクラスターの場合は、接続して現在のコンテキストを確認してください。

az aks get-credentials --name "$CLUSTER_NAME" --resource-group "$RESOURCE_GROUP"
kubectl config current-context
kubectl get nodes

コンテキストが目的のクラスターではない場合、またはコマンドが失敗した場合は停止します。 続行する前に、接続、アクセス許可、またはノードの準備の問題を解決します。

手順 2: コレクション パスを選択する

Path 次の場合に選択します。
Azure マネージド Prometheus とポータル ダッシュボード Grafana インスタンスを作成せずに、マネージド メトリックストレージと組み込みのネットワーク ダッシュボードを利用したい場合。
専用の Prometheus と Grafana 既に監視スタックを運用しており、それにネットワーク メトリックを追加したい。

最初に 1 つのパスを設定します。 既にネットワーク メトリックを正常に収集している場合は、そのセットアップを保持し、手順 3 または手順 4 に進んでください。 重複するスクレーピングを構成すると、インジェストが増加し、クエリが歪む可能性があります。

Azure マネージド Prometheus とポータル ダッシュボード

Prometheus メトリックには Azure Monitor ワークスペースを使用します。 Log Analytics ワークスペースにはログが格納され、このメトリック ワークスペースの代替にはなりません。

次の例では、クラスターのリソース グループにAzure Monitor ワークスペースを作成します。 ワークスペースが既にある場合は、AZURE_MONITOR_NAME をその名前に設定し、作成をスキップし、実際のリソース グループを使用してその ID を取得してください。 Azure Monitor ワークスペースでサポートされているリージョンを使用してください。

Azure Monitor ワークスペースを作成または選択する

export AZURE_MONITOR_NAME="<azure-monitor-name>"

az resource create \
    --resource-group "$RESOURCE_GROUP" \
    --namespace Microsoft.Monitor \
    --resource-type accounts \
    --name "$AZURE_MONITOR_NAME" \
    --location "$LOCATION" \
    --properties '{}'

マネージド Prometheus コレクションを有効にする

Azure Monitor ワークスペース リソース ID を取得します。

azuremonitorId=$(az resource show \
    --resource-group "$RESOURCE_GROUP" \
    --name "$AZURE_MONITOR_NAME" \
    --resource-type "Microsoft.Monitor/accounts" \
    --query id --output tsv)

次に進む前に、コマンドでエラーがないか確認し、azuremonitorId に目的のワークスペースのリソース ID が含まれていることを確認してください。 スクレイピングを有効にする:

az aks update \
    --name "$CLUSTER_NAME" \
    --resource-group "$RESOURCE_GROUP" \
    --enable-azure-monitor-metrics \
    --azure-monitor-workspace-resource-id "$azuremonitorId"

Azure Monitor メトリック ポッドを確認します。

kubectl get pods -n kube-system -o wide | grep ama-metrics

データをチェックする前に、準備未完了のポッドの問題を解決します。 ポッドを単独で実行しても、スクレーピングやインジェストが成功することは保証されません。 アクセス許可またはコレクションの問題については、「AKS での監視を有効にする」 に従ってください。

Azure ポータル ダッシュボードには、個別の Grafana リソースまたは Grafana リンクは必要ありません。 メトリックの選択に進み、手順 4 でネットワーク ダッシュボードを開きます。

独自の Prometheus と Grafana

Kubernetes ポッドを検出し、エージェント メトリック エンドポイントに到達できる既存の Prometheus デプロイを使用します。 まず、その Kubernetes API 認証、RBAC、ネットワーク アクセスを構成します。 次の例では、Hubble のポッドレベルのメトリックについて説明しています。ノードレベルの Cilium または Retina のメトリックは構成しません。

このジョブを既存の scrape_configs リストに追加し、他のジョブを保持します。 オペレーターが Prometheus を管理する場合は、生成された構成ファイルを編集するのではなく、サポートされている構成メカニズムを使用してください。 myAKSClusterをお使いのクラスター ラベルに置き換えてください:

scrape_configs:
  - job_name: networkobservability-hubble
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_label_k8s_app]
        regex: 'kube-system;(retina|cilium)'
        action: keep
      - source_labels: [__meta_kubernetes_pod_phase]
        regex: Running
        action: keep
      - source_labels: [__meta_kubernetes_pod_ip]
        regex: '([^:]+)'
        replacement: '$1:9965'
        target_label: __address__
      - source_labels: [__meta_kubernetes_pod_ip]
        regex: '(.+:.*)'
        replacement: '[$1]:9965'
        target_label: __address__
      - target_label: cluster
        replacement: myAKSCluster
      - source_labels: [__meta_kubernetes_pod_node_name]
        target_label: instance
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: 'hubble_dns_queries_total|hubble_dns_responses_total|hubble_drop_total|hubble_tcp_flags_total'
        action: keep

デプロイで使用可能な場合は、マージされた構成を promtool check config "<prometheus-config-file>" を使用して検証し、その後、通常の操作手順を使用して Prometheus を再読み込みしてください。 [ターゲット] で、networkobservability-hubbleのターゲットが UP であることを確認します。 正常な状態にない場合は、スクレイプ エラーを確認してください。 この例では、Hubble エンドポイントがポート 9965 で公開されていることを前提としています。デプロイのエンドポイントが異なる場合は確認してください。

Grafana をこの Prometheus データソースに接続してください。 手順 3 でメトリックの選択に進み、手順 4 でダッシュボードを開きます。

手順 3: 取り込む Hubble メトリックを選択する

カーディナリティの高いデータとインジェストのコストを制限するために、マネージド Prometheus の最小インジェスト プロファイル では、既定ではこれらのメトリックは収集されません。

  • hubble_flows_processed_total
  • hubble_flows_to_world_total
  • hubble_port_distribution_total

これら 3 つのメトリックのいずれかが必要な場合は、その名前を既存のコレクション構成に追加してください。 それ以外の場合は、手順 4 に進みます。

メトリックを取り込む前に、エージェントのエンドポイントでメトリックを使用できる必要があります。 Cilium でオプションのワールドメトリックまたは宛先ポートメトリックを有効にするには、 コンテナーネットワークメトリックフィルタリングの構成を参照してください。

Prometheus バックエンドについては、次のセクションの手順に従います。

マネージド Prometheus でメトリック ファミリを許可する

選択内容を使用して、networkobservabilityHubble内のama-metrics-settings-configmap ConfigMap のkube-system許可リストを更新します。 この変更により、コレクターはエージェントの Prometheus メトリクス エンドポイントからこれらのメトリクスを収集できます。

Important

既存の値にメトリック名を追加します。新しい名前のみに置き換えないでください。 ダッシュボードとアラートによって使用されるメトリックが引き続き取り込まれるように、既存の名前とパターンを保持します。 値が既に hubble.* の場合は、変更は必要ありません。これには、エージェントによって公開されるすべての Hubble メトリックが含まれます。

  1. ConfigMap が存在しない場合は、「Prometheus のスクレーピングをカスタマイズする」に記載されているサポート対象のテンプレートを使用して作成します。 既に存在する場合は、変更する前にバックアップしてください。

    kubectl get configmap ama-metrics-settings-configmap -n kube-system \
      -o yaml > ama-metrics-settings-before.yaml
    

    続行する前にエラーを解決してください。

  2. ConfigMap を編集用に開きます。 スキーマ v2 で、networkobservabilityHubble の下の default-targets-metrics-keep-list セクションで data.cluster-metrics を見つけます。 ConfigMap の既存のスキーマとその他の設定を保持します。

    kubectl edit configmap ama-metrics-settings-configmap -n kube-system
    
  3. 最小限のインジェストを有効のままにします。 networkobservabilityHubble の値に、追加する各メトリック名を|で区切って追加します。 たとえば、現在の値が次の場合です。

    networkobservabilityHubble = "hubble_dns_queries_total|hubble_drop_total"
    

    フロー メトリックも取り込むには、次のように変更します。

    networkobservabilityHubble = "hubble_dns_queries_total|hubble_drop_total|hubble_flows_processed_total"
    

    サンプル値ではなく、独自の既存の値を開始点として使用します。 この設定は完全な ConfigMap ではありません。 より多くのメトリックを収集すると、インジェストの量とコストが増加する可能性があります。

  4. エディターを保存して閉じます。 コレクターが設定を再読み込みし、Prometheus で追加した各メトリックをクエリできるようにします。 前の例では、hubble_flows_processed_total をクエリして、関連するトラフィックが流れている間に最近のサンプルを確認します。 また、既存のメトリック (既に収集している場合は hubble_dns_queries_total など) に対してクエリを実行して、新しいサンプルをまだ受け取っているかどうかを確認します。 手順 4 に進む前に、これらのメトリックを使用するダッシュボードとアラートを確認します。

独自の Prometheus でメトリック ファミリを許可する

既存のジョブの metric_relabel_configs keep 式に、 |で区切って追加のメトリック名を追加します。 既存のすべての名前とパターンを保持します。 たとえば、現在の式が hubble_dns_queries_total|hubble_drop_total の場合は、次のようにフロー メトリックを追加します。

metric_relabel_configs:
  - source_labels: [__name__]
    regex: 'hubble_dns_queries_total|hubble_drop_total|hubble_flows_processed_total'
    action: keep

独自の既存の式を開始点として使用します。 2 つ目の規則を追加するのではなく、既存の保持ルールを更新します。2 つ目のキープ ルールでは、最初のルールで保持されているメトリックを破棄できます。 構成を検証してリロードします。 hubble_flows_processed_total などの追加された各メトリックと、Prometheus 内の既存のメトリックをクエリします。 関連トラフィックが流れている間に両方が最新のサンプルを受信していることを確認し、次に手順 4 でネットワーク ダッシュボードを開いてください。

手順 4: ACNS ネットワーク ダッシュボードを表示する

Azure portal

Azure Monitorコレクションを有効にした後、ネットワーク ダッシュボードを開きます。

  1. Azure portal で AKS クラスターを開きます。
  2. [ 監視] で、[ Grafana のダッシュボード] を選択します。
  3. 一覧からダッシュボードを選択し、名前空間またはワークロードとネットワーク アクティビティを含む時間範囲を選択します。

詳細については、「 AKS で Grafana でダッシュボードを使用する」を参照してください。

使用可能なネットワーク ダッシュボード

クラスターのネットワーク アクティビティを調べるには、次の 6 つの Kubernetes / ネットワーク ダッシュボードを使用します。 インポート ID は、独自の Grafana を使用しているお客様にのみ提供されます。組み込みのAzure ポータル ダッシュボードには必要ありません。

Dashboard Use インポート ID
Clusters ノードレベルのネットワーク正常性には、Hubble ジョブに加えてノードレベルのメトリックが必要です。 18814
DNS (クラスター) クラスターまたは選択したノード全体の DNS メトリック。 20925
DNS (ワークロード) 選択したワークロードの DNS 動作。 20926
ドロップ (ワークロード) ワークロードに関連するドロップが観測されました。 20927
Pod Flows (Namespace) 名前空間内のポッドを含むフロー観測。 20928
Pod Flows (ワークロード) ワークロードを含むフローの観察。 20929

まずクラスターから開始し、ノードレベルのネットワーク正常性を確認してから、ワークロードまたは名前空間ダッシュボードを開いて、トラフィック、ドロップ、または DNS の動作を調査します。 監視を有効にしたり、保持リストを変更した後は、収集の遅延を顧慮してください。

DNS パネルには DNS 可視性が必要です。 Pod Flows パネルでは、手順 3 で構成した保持リストに hubble_flows_processed_total が必要です。 空のパネルは、トラフィックが一致しない、コレクションが見つからない、または時間範囲または選択が正しくない可能性があります。 ネットワークに問題があるとは限りません。

省略可能: 別の Grafana デプロイを使用する

Azure Managed Grafanaを既に使用している場合は、Azure Monitor ワークスペースに接続し、ダッシュボード Azure Managed Prometheus の下にある > ダッシュボードを使用できます。 Azure Managed Grafanaは個別の有料サービスであり、ポータル ダッシュボードの前提条件ではありません。

独自の Grafana の場合は、前の表の ID を使用してダッシュボードをインポートし、Prometheus データ ソースを選択します。

見つからないメトリックのトラブルシューティング

症状: チェック
監視ポッドの準備ができていないか、ターゲットがダウンしている コレクターの正常性、Kubernetes 検出のアクセス許可、およびエージェント エンドポイントへのネットワーク アクセス。
エージェントにはメトリックがありますが、Prometheus にはメトリックがありません ターゲットの有効化、保持リスト式、スクレイプ エラー、インジェストの遅延。
オプションのメトリックがエージェント上に存在しない Cilium/API のサポート、CNM の状態と警告、一致するトラフィック、メトリックのカウント ルール。
Grafana はデータを表示しませんが、Prometheus にはサンプルがあります データ ソース、アクセス許可、クラスター/ワークロード ラベル、時間範囲。
DNS または HTTP パネルが空です プロトコルの可視性とメトリックの可用性。スクレーピングでは検査は有効になりません。
フィルター変更後も古い系列が残る 最新のカウンター値の変化を比較します。 フィルターは履歴サンプルを削除しません。

リソースをクリーンアップする

CNM および Prometheus の許可リストに対して行った、調査による変更のみを復元します。 他チームが使用している設定と、作成したバックアップ以降に行われたすべての変更を保持します。 CNM エントリを削除すると、そのエントリによって有効化されていた場合にのみ、オプションのメトリックが無効になります。サービス提供のメトリックは有効なままです。 フィルターを削除すると、収集範囲が広がる可能性があります。 履歴サンプルは、引き続きバックエンドの保持の対象となります。

リソース グループは、この演習専用に自分で作成した場合にのみ、その中のリソースを必要とするユーザーがいない場合にのみ削除します。 次のコマンドは、クラスターとそのグループ内の他のすべてのリソースを削除します。

az group delete --name "$RESOURCE_GROUP"

次のステップ