Azure Kubernetes Fleet Manager のインテリジェント リソース配置の紹介

クラスター スコープのリソース配置の概要

ClusterResourcePlacement (CRP) を使用して、クラスター スコープのリソースの特定のセットまたは名前空間全体を Fleet Manager ハブ クラスターから 1 つ以上のメンバー クラスターに配布します。

主な特性:

• クラスター スコープ: クラスター スコープのリソースまたは名前空間を選択します。
• 宣言型: 一貫した動作のために、 ResourcePlacement と同じ配置ポリシーを使用します。

CRP を使用すると、次のことができます。

• 配布する Kubernetes リソースを選択します。 これらのリソースには、 Kubernetes Group Version Kind (GVK) 参照を使用して定義されたクラスター スコープの Kubernetes リソースや、名前空間とそのすべてのリソースを分散する名前空間を指定できます。
• メンバー クラスターを選択する配置ポリシーを指定します。 これらのポリシーでは、名前によってクラスターを明示的に選択したり、クラスターのラベルとプロパティに基づいてクラスターを動的に選択したりできます。
• 選択した Kubernetes リソースの更新プログラムを複数のターゲット クラスターに安全にロールアウトするためのロールアウト戦略を指定する。
• 各ターゲット クラスターのロールアウトの進行状況を表示します。

名前空間内の名前空間スコープの個々のリソースをきめ細かく制御する必要があるシナリオについては、名前空間 スコープのリソース配置を参照してください。これにより、名前空間全体ではなく特定のリソースを分散できます。

名前空間スコープのリソース配置の概要

ResourcePlacement (RP) を使用して、Fleet Manager ハブ クラスターから 1 つ以上のメンバー クラスターに特定の名前空間内の特定のリソース セットを配布します。 ResourcePlacement では、名前空間内の特定のリソースをメンバー クラスター間で分散する方法をきめ細かく制御できます。

主な特性:

• 名前空間スコープ: ResourcePlacement と選択したリソースの両方が同じ名前空間内に存在します。
• 選択的: 名前空間全体ではなく、種類、名前、またはラベルによって名前空間内の特定のリソースを選択します。
• 宣言型: 一貫した動作のために、 ClusterResourcePlacement と同じ配置ポリシーを使用します。

ResourcePlacement を使用するタイミング

ResourcePlacement は、名前空間スコープのリソースをきめ細かく制御する必要があるシナリオに最適です。

• 選択的なリソース分散: 名前空間全体に影響を与えずに、特定の ConfigMap、シークレット、またはサービスをデプロイします。
• マルチテナント環境: 異なるチームが共有名前空間内で個別にリソースを管理できるようにします。
• 構成管理: 環境固有の構成を異なるクラスター環境に分散します。
• コンプライアンスとガバナンス: 同じ名前空間内のさまざまなリソースの種類に異なるポリシーを適用します。
• 段階的なロールアウト: ダウンタイムなしの戦略を使用して、クラスター間でリソース更新プログラムを安全にデプロイします。

多くの場合、マルチクラスター環境では、ワークロードはクラスター スコープと名前空間スコープの両方のリソースで構成され、さまざまなクラスターに分散する必要があります。 ClusterResourcePlacement (CRP) はクラスター スコープのリソースを効果的に処理しますが、名前空間全体とその内容も管理します。 ただし、一部のシナリオでは、既存の名前空間内の名前空間スコープのリソースをより細かく制御する必要があります。

ResourcePlacement (RP) は、次の機能を提供することで、このギャップに対処します。

• 名前空間スコープのリソース管理: 名前空間全体に影響を与えずに、名前空間内の特定のリソースを対象とします。
• 運用の柔軟性: チームが同じ名前空間内のさまざまなリソースを個別に管理できるようにします。
• 補完的な機能: CRP と連携して、完全なマルチクラスター リソース管理ソリューションを提供します。

このサンプル ClusterResourcePlacement (CRP) は、フリート内のすべてのクラスターに名前空間 my-app を配置します。 明示的な戦略を定義しない場合、プロセスは RollingUpdateを使用します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: namespace-only-crp
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
  policy:
    placementType: PickAll   

このサンプル ResourcePlacement (RP) は、名前空間app=my-applicationのmy-appラベルが付いた ConfigMap を、2 つの名前付きクラスターの一致する名前空間に配置します。 明示的な戦略を定義しない場合、プロセスは RollingUpdateを使用します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

名前空間の選択スコープ

クラスター スコープの配置を使用して名前空間全体を選択する場合は、 selectionScope フィールドを使用して、名前空間にすべての子リソースを含めるか、単に空の名前空間を配置するかを制御します。

• 既定の動作 ( selectionScope が指定されていない場合): 名前空間とその中のすべてのリソースを分散します。
• NamespaceOnly: 名前空間内のリソースを使用せずに、名前空間リソースのみを分散します。 このオプションは、 ResourcePlacementを使用して個々のリソースを個別に管理しながら、クラスター間で名前空間を確立する場合に便利です。

この例では、名前空間のみをその内容なしで配布する方法を示します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: namespace-only-crp
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
      selectionScope: NamespaceOnly
  policy:
    placementType: PickAll

このアプローチにより、プラットフォーム管理者が ClusterResourcePlacement を使用して名前空間を確立するワークフローが可能になります。一方、アプリケーション チームは ResourcePlacement を使用して、それらの名前空間内の特定のリソースをきめ細かく制御できます。

この例では、 test-deployment 名前空間をメンバー クラスター cluster1 および cluster2に配布する方法を示します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-fixed
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: test-deployment
      version: v1
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

このサンプル ResourcePlacement (RP) は、名前空間app: my-applicationのmy-appラベルが付いた ConfigMap を、2 つの名前付きクラスターの一致する名前空間に配置します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

この例では、 prod-deployment 名前空間とそのすべての子リソースを、 environment: productionでラベル付けされたすべてのメンバー クラスターに分散する方法を示します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickall
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                        environment: production

このサンプル ResourcePlacement (RP) は、名前空間app: my-applicationのmy-appラベルが付いた ConfigMap を、environment: productionでラベル付けされたすべてのクラスター上の一致する名前空間に配置します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                        environment: production

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickn-critical-preferences
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickN
    numberOfClusters: 3
    affinity:
        clusterAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
              weight: 20
              preference:
              - labelSelector:
                  matchLabels:
                    critical-level: 1
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                      critical-allowed: "true"

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickn-critical-preferences
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickN
    numberOfClusters: 3
    affinity:
        clusterAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
              weight: 20
              preference:
              - labelSelector:
                  matchLabels:
                    critical-level: 1
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                      critical-allowed: "true"

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickn-locations-updates
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickN
    topologySpreadConstraints:
    - maxSkew: 2
      topologyKey: fleet.azure.com/location
      whenUnsatisfiable: DoNotSchedule
    - maxSkew: 2
      topologyKey: updateDay
      whenUnsatisfiable: ScheduleAnyway

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickn-locations-updates
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickN
    topologySpreadConstraints:
    - maxSkew: 2
      topologyKey: fleet.azure.com/location
      whenUnsatisfiable: DoNotSchedule
    - maxSkew: 2
      topologyKey: updateDay
      whenUnsatisfiable: ScheduleAnyway

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickall-five-nodes
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - propertySelector:
                    matchExpressions:
                    - name: "kubernetes-fleet.io/node-count"
                      operator: Ge
                      values:
                      - "5"

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall-five-nodes
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - propertySelector:
                    matchExpressions:
                    - name: "kubernetes-fleet.io/node-count"
                      operator: Ge
                      values:
                      - "5"

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pick-all-rolling
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickAll
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
      unavailablePeriodSeconds: 60

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall-rolling
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
      unavailablePeriodSeconds: 60

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: test-ns
spec:
  policy:
    placementType: PickAll
    tolerations:
      - key: app-team-a
        operator: Exists
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: test-ns
      version: v1
  revisionHistoryLimit: 10
  strategy:
    type: RollingUpdate

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall-rolling
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
    tolerations:
      - key: app-team-a
        operator: Exists
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
      unavailablePeriodSeconds: 60

• ClusterResourcePlacement の状態: クラスター スコープの ClusterResourcePlacement リソースで配置の状態を直接表示します。 クラスター レベルのアクセス許可があり、フリート全体にわたる配置の状態を表示する必要がある場合に使用します。

• ResourcePlacement の状態: 名前空間スコープの ResourcePlacement リソースで配置の状態を直接表示します。 名前空間レベルのアクセス許可があり、フリート全体にわたる名前空間スコープの配置の状態を確認する必要がある場合に使用します。

ClusterResourcePlacement の状態の表示

この情報を表示するには、 kubectl describe resourceplacement <rp-name> コマンドを使用します。

kubectl describe resourceplacement place-cmap-1

• ClusterResourcePlacementStatus: 名前空間スコープの ClusterResourcePlacementStatus リソースを使用して配置の状態を表示します。 このリソースは、名前空間スコープのユーザーがクラスター レベルのアクセス許可を付与せずに配置の状態を表示する必要がある場合に使用します。 詳細については、「 ClusterResourcePlacementStatus」セクションを参照してください。

どちらの方法でも、次の情報が提供されます。

• 配置に現在適用されている条件。配置が正常に完了したかどうかが含まれます。
• 各メンバー クラスターについての配置状態セクション。ここには、そのクラスターへのデプロイの状態が表示されます。

ClusterResourcePlacement の状態を使用する

次の例は、ClusterResourcePlacementを使用して、test名前空間と test-1 ConfigMap を 2 つのメンバー クラスターにデプロイしたPickNから直接状態を表示する方法を示しています。 配置が正常に完了し、リソースが aks-member-1 と aks-member-2 のクラスターに配置されました。

この情報を表示するには、 kubectl describe clusterresourceplacement <crp-name> コマンドを使用します。

kubectl describe clusterresourceplacement crp-1

Name:         crp-1
Namespace:
Labels:       <none>
Annotations:  <none>
API Version:  placement.kubernetes-fleet.io/v1
Kind:         ClusterResourcePlacement
Metadata:
  ...
Spec:
  Policy:
    Number Of Clusters:  2
    Placement Type:      PickN
  Resource Selectors:
    Group:
    Kind:                  Namespace
    Name:                  test
    Version:               v1
  Revision History Limit:  10
Status:
  Conditions:
    Last Transition Time:  2023-11-10T08:14:52Z
    Message:               found all the clusters needed as specified by the scheduling policy
    Observed Generation:   5
    Reason:                SchedulingPolicyFulfilled
    Status:                True
    Type:                  ClusterResourcePlacementScheduled
    Last Transition Time:  2023-11-10T08:23:43Z
    Message:               All 2 cluster(s) are synchronized to the latest resources on the hub cluster
    Observed Generation:   5
    Reason:                SynchronizeSucceeded
    Status:                True
    Type:                  ClusterResourcePlacementSynchronized
    Last Transition Time:  2023-11-10T08:23:43Z
    Message:               Successfully applied resources to 2 member clusters
    Observed Generation:   5
    Reason:                ApplySucceeded
    Status:                True
    Type:                  ClusterResourcePlacementApplied
  Placement Statuses:
    Cluster Name:  aks-member-1
    Conditions:
      Last Transition Time:  2023-11-10T08:14:52Z
      Message:               Successfully scheduled resources for placement in aks-member-1 (affinity score: 0, topology spread score: 0): picked by scheduling policy
      Observed Generation:   5
      Reason:                ScheduleSucceeded
      Status:                True
      Type:                  ResourceScheduled
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully Synchronized work(s) for placement
      Observed Generation:   5
      Reason:                WorkSynchronizeSucceeded
      Status:                True
      Type:                  WorkSynchronized
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully applied resources
      Observed Generation:   5
      Reason:                ApplySucceeded
      Status:                True
      Type:                  ResourceApplied
    Cluster Name:            aks-member-2
    Conditions:
      Last Transition Time:  2023-11-10T08:14:52Z
      Message:               Successfully scheduled resources for placement in aks-member-2 (affinity score: 0, topology spread score: 0): picked by scheduling policy
      Observed Generation:   5
      Reason:                ScheduleSucceeded
      Status:                True
      Type:                  ResourceScheduled
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully Synchronized work(s) for placement
      Observed Generation:   5
      Reason:                WorkSynchronizeSucceeded
      Status:                True
      Type:                  WorkSynchronized
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully applied resources
      Observed Generation:   5
      Reason:                ApplySucceeded
      Status:                True
      Type:                  ResourceApplied
  Selected Resources:
    Kind:       Namespace
    Name:       test
    Version:    v1
    Kind:       ConfigMap
    Name:       test-1
    Namespace:  test
    Version:    v1
Events:
  Type    Reason                     Age                    From                                   Message
  ----    ------                     ----                   ----                                   -------
  Normal  PlacementScheduleSuccess   12m (x5 over 3d22h)    cluster-resource-placement-controller  Successfully scheduled the placement
  Normal  PlacementSyncSuccess       3m28s (x7 over 3d22h)  cluster-resource-placement-controller  Successfully synchronized the placement
  Normal  PlacementRolloutCompleted  3m28s (x7 over 3d22h)  cluster-resource-placement-controller  Resources have been applied to the selected clusters

ClusterResourcePlacementStatus リソースを使用する

ClusterResourcePlacementStatus リソースは名前空間スコープであり、対応するクラスター スコープのClusterResourcePlacement オブジェクトの状態の名前空間固有のビューを提供します。 このリソースを使用すると、クラスター レベルの権限を持たない名前空間ユーザーは、名前空間の外部から情報を公開することなく、配置の状態を読み取ることができます。

この方法を使用するには、ClusterResourcePlacement API を使用して、statusReportingScope: NamespaceAccessibleでv1を構成します。

statusReportingScopeを NamespaceAccessible に設定すると、名前空間リソース セレクターは 1 つだけ指定でき、作成後に変更することはできません。

ClusterResourcePlacementStatus の構成

この機能を使用するには、ClusterResourcePlacementで v1 API バージョンを指定します。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-with-status-reporting
spec:
  statusReportingScope: NamespaceAccessible
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
  policy:
    placementType: PickAll

ClusterResourcePlacementStatus の閲覧

kubectl describe コマンドを使用して、状態を表示できます。

kubectl describe clusterresourceplacementstatuses.v1.placement.kubernetes-fleet.io crp-with-status-reporting -n my-app

出力には、選択した名前空間内に表示される状態情報が含まれます。 これには、選択した名前空間、その名前空間内のリソース、および同じ名前空間のリソースオーバーライドとリソース エンベロープへの参照が含まれます。 クラスター スコープのリソースまたはクロス名前空間リソース、クラスター リソース オーバーライド、またはクラスター リソース エンベロープは含まれません。

ドリフトと差分の詳細は、JSON パスを保持します。 Fleet Manager は、空でない各 valueInMember および valueInHub 値を (redacted) に置き換えます。 空の値は、JSON パスがその側に存在しないことを示し続けます。

アプリケーションが ClusterResourcePlacementStatus を読み取る場合は、2027 年 1 月 31 日より前に更新して、省略されたエントリを許容し、編集マーカーを利用不可のデータとして扱います。 アプリケーションで完全なリソース ID または生のドリフト値と差分値が必要な場合は、適切なクラスターレベルのロールベースのアクセス制御 (RBAC) のアクセス許可を持つ資格情報を使用して、クラスター スコープの ClusterResourcePlacement の状態を読み取ります。

詳細については、配置結果を理解する方法に関するドキュメントを参照してください。