Azure Kubernetes Fleet Manager のクロスクラスター ネットワーク

適用対象: ✔️ Fleet Manager ✔️ Fleet Manager とハブ クラスター

Azure Kubernetes Fleet Manager は、複数のクラスター間で Kubernetes データパスを拡張する専用のクロスクラスター ネットワーク ソリューションを提供します。 クラスター間ネットワークを使用すると、接続されているすべてのクラスターが、ネットワーク ポリシーの完全な適用を使用して、他の接続済みクラスター上のエンドポイントと直接通信できます。 クラスター間ネットワークを使用すると、クラスターは、接続されている任意のクラスターがそれらをローカルであるかのように呼び出せるように、サービスを公開できます。

Fleet Manager では複数のクラスター間ネットワーク プロファイルを作成できますが、唯一の制限は、メンバー クラスターが 1 つのクロスクラスター ネットワークにのみ参加できることです。

この記事では、Azure Kubernetes Fleet Manager のクロスクラスター ネットワークの主要な概念について説明します。

前提条件と制限事項

  • クラスター間ネットワークには、最大 255 個のメンバー クラスターを含めることができます。
  • Fleet Manager メンバー クラスターは、いつでも 1 つのクロスクラスター ネットワークにのみ参加できます。
  • クラスターでは、Cilium が有効な Advanced Container Networking Services (ACNS) が必要です。
  • クラスターは、同じ仮想ネットワークまたはピアリング済みの仮想ネットワークに接続されている必要があります。
  • ポッド サブネットでクロスクラスター ネットワークを使用するには、クラスターで Kubernetes v1.32 以降を実行する必要があります。
  • オーバーレイ ネットワークでクロスクラスター ネットワークを使用するには、クラスターで Kubernetes v1.36 以降を実行する必要があります。
  • Azure CNI オーバーレイクロスクラスター ネットワークは、オーバーレイ ネットワーク ルーティングの制限により、外部ロード バランサーを介してグローバル サービスを公開できません。
  • 1 つのクロスクラスター ネットワークでは、ポッド サブネットまたはオーバーレイ ネットワークを使用してクラスターのみをホストできます。 現在、ネットワークの種類を混在させることはできません。
  • オーバーレイ ネットワークを使用するクラスターでのポッド間通信では、それらのポッドの名前空間に clustermesh.cilium.io/global 注釈を設定し、各メンバー クラスター内のポッド CIDR が重複しないようにする必要があります。
  • オーバーレイ ネットワークを使用する場合、バックエンドが別のクラスターにある場合、NodePort サービスは機能しません。
  • セルフマネージド Cilium マルチクラスターを同時にデプロイすることはできません。
  • ACNS では、Cilium のバージョンと有効な機能が設定されます。 現在、これらの設定を直接変更することはできません。

基本的な概念

Azure Kubernetes Fleet Manager のクロスクラスター ネットワークでは、フリートで管理される Cilium マルチクラスターデプロイが提供されます。これにより、各メンバー クラスターで Cilium マルチクラスターのデータ プレーン コンポーネントを構成および管理するオーバーヘッドが排除されます。

クラスターがクロスクラスター ネットワークに参加すると、Fleet Manager はクラスターのコントロール プレーンに Cilium エージェント (cilium-agent) と clustermesh-apiserver をデプロイします。 Fleet Manager は、同じクロスクラスター ネットワーク上の既存のクラスターを、新たに追加されたクラスターの詳細情報で更新し、Cilium エージェントは各クラスターのポッドがプロキシやゲートウェイを介さずに直接通信できるように、eBPF ベースのルーティングを構成します。

各クラスターは、ポッドとサービスのローカル CIDR IP アドレス指定構成を保持します。 ローカル Cilium コンポーネントはルーティングを担当し、あるクラスター内のポッドが、リモート クラスター内のサービスにローカル サービスであるかのように到達できるようにします。

トラフィック フロー制御の場合は、Cilium ネットワーク ポリシー (CiliumNetworkPolicy) を使用してクラスター間データ フローを制御します。 これらのポリシーを使用することで、管理者はクロスクラスター ネットワーク内で境界を強制できます。

グローバル サービスの定義

次の両方の条件が満たされている場合、クラスター間ネットワーク メンバー上の Kubernetes Services をクロスクラスター ネットワークでグローバルに使用できます。

  • サービスを含む名前空間には、clustermesh.cilium.io/globalの値を持つ注釈trueがあります。
  • このサービスには、値が service.cilium.io/global の true という注釈が付いています。

これらの注釈を含むサービスを複数のクラスター間ネットワーク メンバー クラスターにデプロイすると、それらのクラスター間で要求が透過的に負荷分散されます。

負荷分散されたグローバル サービスからサービスを一時的に削除するには、そのサービスの service.cilium.io/global 注釈を削除 (または falseに設定) します。 特定のクラスターから名前空間内のすべてのサービスの共有を停止するには、そのクラスターの名前空間の clustermesh.cilium.io/global 注釈を削除します (または、 falseに設定します)。

Note

Fleet Manager のマネージド Cilium マルチクラスター インストールでは clustermesh-default-global-namespace: false を設定します。これは Cilium の既定値とは異なります。 この設定では、クラスター間で同期される状態 (CiliumEndpoints、CiliumIdentities、およびサービス) の量を、 clustermesh.cilium.io/global 注釈が true の値に設定された名前空間内のリソースのみに制限することで、スケーラビリティが向上します。 その結果、そのアノテーションを設定して、Namespace ごとに明示的にオプトインする必要があります。

デバッグとトラブルシューティング

標準の Cilium コマンド ライン インターフェイス (CLI) ツールは、Fleet Manager のクロスクラスター ネットワーク機能に対応しています。 upgradeやclustermesh connectなどの一部のコマンドは、Fleet Manager が現在担当しているアクションを実行するため、機能しません。

デバッグとトラブルシューティングを開始するための手順の概要を次に示します。

  • 公式の Cilium CLI GitHub リポジトリから、オペレーティング システム用の最新の安定した Cilium CLI をインストールします。
  • クロスクラスター ネットワーク メンバー クラスターを選択し、 az aks get-credentials コマンドを使用してその kubeconfig を取得します。
  • cilium CLI を使用し、 --context パラメーターを使用してクラスター コンテキストを渡します。

Cilium CLI では、複数の Cilium バージョンを管理できます。

クロスクラスター ネットワーク コンポーネントの更新

Cilium マルチクラスターを自分でインストールして実行するよりもクロスクラスター ネットワークを採用する理由の 1 つは、Fleet Manager が Cilium のコンポーネントを最新の状態に保つということです。

クロスクラスター ネットワークの Cilium コンポーネントの更新プログラムは、AKS Kubernetes リリースの一部としてバンドルされています。 アップグレードは、Cilium コンポーネントがクラスターで実行される Kubernetes バージョンで動作し、クラスター間ネットワークが安定していることを保証するという事前検証によって簡略化されます。

この方法は、Fleet Manager の 更新実行と戦略 を使用してクラスターのコントロール プレーンをアップグレードし、クラスターの更新順序を定義できることを意味します。

証明機関のローテーション

Fleet Manager は、クロスクラスター ネットワークに含まれるすべてのメンバーの証明機関 (CA) を自動的にローテーションします。 このプロセスには、新しい CA の生成と、接続されているすべてのメンバー クラスターへの新しく署名されたリーフ証明書の配布が含まれます。 このローテーションは、手動の顧客構成を必要とせずに Fleet Manager によって自動的にトリガーされるため、クラスター間接続を中断することなく、簡単に証明書を管理できます。

次のステップ