介紹 Azure Kubernetes Fleet Manager 智能資源配置

適用於 ✔️ 具有中樞叢集的機群管理員

跨多個叢集管理 Kubernetes 資源,對於平臺管理員和應用程式開發人員而言,都面臨重大挑戰。 隨著組織將 Kubernetes 基礎建設擴展至單一叢集之外,常常面臨資源分配、一致性及手動管理負擔等複雜問題。 隨著機隊規模的增長,傳統方法的獨立管理每個集群會導致作業孤島,這些孤島越來越難以維護。

平台管理員經常需要將 Kubernetes 資源部署到多個叢集,原因多樣,包括:

  • 透過多個叢集間的角色與角色綁定來管理存取控制。
  • 執行需要位於所有叢集的基礎設施應用,例如 Prometheus 或 Flux。

應用程式開發者經常需要將 Kubernetes 資源部署到多個叢集,原因有各種不同,包括:

  • 將視訊服務應用程式部署到不同區域的多個叢集中,以提供低延遲的觀看體驗。
  • 將購物車應用程式部署到兩個成對區域,讓客戶在單一區域中斷時仍能繼續購物。
  • 使用成本較低的可用現成節點集區,將批次計算應用程式部署到叢集。

手動建立、更新並追蹤多個叢集的 Kubernetes 資源既繁瑣又容易出錯。

在本文中,您將學習如何運用 Fleet Manager 的智慧資源配置功能,管理叢集與命名空間範圍的 Kubernetes 資源在團隊成員叢集間的分配。

Fleet Manager 的資源配置能力基於 KubeFleet CNCF 專案。

資源配置流程概述

要使用 Fleet Manager 的智慧資源配置,請依照以下步驟操作:

  1. 將資源置於樞紐叢集:使用持續部署、GitOps 或類似方法,套用 Fleet Manager 樞紐叢集上的資源分配清單。
  2. 建立資源配置:建立一個配置清單,選擇資源並定義政策,以選擇哪些成員叢集接收該資源。
  3. 在樞紐叢集上套用資源配置:將擺放清單套用到樞紐叢集,開始分配資源。
  4. 艦隊管理員排程資源:艦隊管理員觀察資源的擺放與所選範圍,並執行資源分配。
  5. 透過資源放置觀察分發情況:查詢中樞叢集上的資源放置,以檢查資源在推出過程中的狀態。

Fleet Manager 提供 Azure 入口網站資源配置體驗,提供更視覺化的部署呈現。

引入叢集層級資源部署

使用 ClusterResourcePlacement(CRP)將 Fleet Manager 樞紐叢集中指定的叢集範圍資源或整個命名空間分配到一個或多個成員叢集。

主要特性:

  • 叢集範圍:選擇叢集範圍的資源或命名空間。
  • 宣告式:使用與 ResourcePlacement 相同的放置原則,以確保行為一致。

透過使用 CRP,你可以:

  • 選擇要分發哪些 Kubernetes 資源。 這些資源可以是使用 Kubernetes 群組版本種類 (GVK) 參考定義的叢集範圍 Kubernetes 資源,也可以是一個會散布命名空間及其所有資源的命名空間。
  • 指定放置原則以選取成員叢集。 這些原則可以依名稱明確選取叢集,或根據叢集標籤和屬性動態選取叢集。
  • 指定推出策略,安全地將所選 Kubernetes 資源的任何更新推出到多個目標叢集。
  • 查看每個目標群聚的推廣進度。

關於需要對命名空間內個別命名空間範圍資源進行細緻控制的情境,請參見 命名空間範圍資源放置,該配置允許分配特定資源而非整個命名空間。

引入命名空間層級的資源部署

使用 ResourcePlacement(RP)將特定命名空間中的一組資源,從 Fleet Manager 樞紐叢集分發到一個或多個成員叢集。 ResourcePlacement 提供細緻控制特定命名空間內資源在成員叢集間的分配方式。

主要特性:

  • 命名空間範圍:兩者 ResourcePlacement 及其選擇的資源都存在於同一個命名空間中。
  • 選擇性:依照命名空間的類型、名稱或標籤選擇特定資源,而非整個命名空間。
  • 宣告式:使用同樣的安置政策,以確保與 ClusterResourcePlacement 一致的行為。

何時使用 ResourcePlacement

ResourcePlacement 非常適合需要對命名空間範圍資源進行細緻控制的情境:

  • 選擇性資源分配:部署特定的 ConfigMap、Secret 或服務,且不影響整個命名空間。
  • 多租戶環境:允許不同團隊在共享命名空間內獨立管理資源。
  • 組態管理:將特定環境的配置分散到不同的叢集環境。
  • 合規與治理:在同一命名空間內,對不同資源類型套用不同政策。
  • 漸進式部署:透過零停機策略,安全地在叢集間部署資源更新。

在多叢集環境中,工作負載通常包含叢集範圍與命名空間範圍的資源,需要分散到不同的叢集。 雖然 ClusterResourcePlacement (CRP)能有效處理叢集範圍的資源,但它同時也能管理整個命名空間及其內容。 然而,有些情境需要對現有命名空間中命名空間範圍的資源進行更細緻的控制。

ResourcePlacement (RP)透過提供以下內容來彌補此缺口:

  • 命名空間範圍資源管理:在不影響整個命名空間的情況下,針對特定命名空間中的資源進行目標設定。
  • 營運彈性:允許團隊獨立管理同一命名空間內的不同資源。
  • 互補功能:與 CRP 協同工作,提供完整的多叢集資源管理解決方案。

備註

你可以在僅命名空間模式下將 ResourcePlacement 與 ClusterResourcePlacement 一起使用。 例如,使用 CRP 部署命名空間,並用 RP 細緻管理特定資源,如該命名空間內的環境專屬 ConfigMaps 或 Secret。

資源配置組成部分

資源配置,無論範圍為何(叢集或命名空間),都包含以下組成部分:

  • 資源選擇器:透過 resourceSelectors 選取要包含的資源。
  • 放置原則:定義如何透過 placementType,使用 PickAll、PickFixed 或 PickN 類型之一來選取叢集。
  • 部署策略:透過加入選用的 strategy,控制資源如何在所選叢集中部署。

此範例 ClusterResourcePlacement(CRP)將命名空間 my-app 置於車隊中所有叢集上。 如果你沒有明確定義策略,這個過程就會用一個 RollingUpdate。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: namespace-only-crp
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
  policy:
    placementType: PickAll   

此範例的 ResourcePlacement (RP) 會將命名空間 app=my-application 中標籤為 my-app 的 ConfigMap,部署到兩個指定叢集中名稱相同的命名空間內。 如果你沒有明確定義策略,這個過程就會用一個 RollingUpdate。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

資源選取器

選擇資源時,請在一個位置中使用一個或多個 resourceSelectors 。 每個資源選擇器可指定:

  • 群組、版本、類型(GVK):需選擇的 Kubernetes 資源類型。
  • 名稱:特定資源的名稱。
  • 標籤選擇器:用於匹配多個資源的標籤。

命名空間選擇範圍

當你使用 cluster-scoped placement 選擇整個命名空間時,請用欄位 selectionScope 控制是否包含所有子資源,或是只放置一個空命名空間。

  • 預設行為 (未 selectionScope 指定時):分配命名空間及其內所有資源。
  • NamespaceOnly: 僅分配命名空間資源,且不分配命名空間內的任何資源。 當你想在叢集間建立命名空間,並透過 分別管理個別資源 ResourcePlacement時,這個選項非常有用。

此範例展示了如何只分配命名空間而不分配其內容。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: namespace-only-crp
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
      selectionScope: NamespaceOnly
  policy:
    placementType: PickAll

此方法讓平台管理員使用 ClusterResourcePlacement 建立命名空間,而應用程式團隊則使用 ResourcePlacement 細緻控制命名空間內的特定資源。

就業政策

Fleet Manager 資源配置支援以下配置政策類型,以控制叢集的選擇:

  • PickFixed 透過 使用叢集名稱將資源分配到成員叢集上。
  • PickAll 將 資源置於所有成員叢集,或符合條件的所有成員叢集。 此政策對於放置基礎設施工作負載(如叢集監控或報告應用程式)非常有用。
  • PickN 是最彈性的放置選項。 它允許你根據親和力或拓撲擴散限制來選擇叢集。 當將工作負載分散到多個相似叢集時,請使用此策略以確保可用性得到維持。

PickFixed 放置類型

用來 PickFixed 依名稱選擇叢集。 在 clusterNames 陣列中提供名稱。 空陣列或省略此陣列則不會選取任何叢集。

此範例展示了如何將命名空間分配 test-deployment 到成員叢集 cluster1 和 cluster2。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-fixed
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: test-deployment
      version: v1
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

此範例的 ResourcePlacement (RP) 會將命名空間 app: my-application 中標籤為 my-app 的 ConfigMap,部署到兩個指定叢集中名稱相同的命名空間內。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

若要建立無目標群集的置放,或將現有置放縮減至零個群集,請在 spec 下使用以下政策:

policy:
  placementType: PickFixed
  clusterNames: []

當您清除現有部署放置上的陣列時,機群管理員會從成員叢集移除先前由該放置分布的資源。 hub 叢集上的放置物件和選取的資源依然存在。 若要再次分配資源,請將目標叢集名稱重新加入clusterNames。

PickAll 放置類型

用 PickAll 來分配資源到所有成員叢集,或符合你指定條件的所有叢集。

建立此類放置時,請指定以下叢集親和類型:

  • requiredDuringSchedulingIgnoredDuringExecution:由於此原則在排程期間是必要的,因此會根據指定的準則篩選叢集。

此範例展示了如何將命名空間及其所有子資源分配 prod-deployment 到所有標記為 environment: production的成員叢集。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickall
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                        environment: production

此範例 ResourcePlacement(RP)將標記為app: my-application的 ConfigMap 放入命名空間my-app中,並將該命名空間放入所有標記為environment: production的叢集中的對應命名空間中。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                        environment: production

PickN 放置類型

使用PickN以根據親和力與拓撲擴散限制將資源分配到可配置數量的叢集。

建立此類放置時,請指定以下叢集親和類型:

  • requiredDuringSchedulingIgnoredDuringExecution:由於此原則在排程期間是必要的,因此會根據指定的準則篩選叢集。
  • preferredDuringSchedulingIgnoredDuringExecution:因為此原則是慣用的,但在排程期間不需要,它會根據指定的準則來排名叢集。

您可以同時設定必要和偏好的親和性。 必要的親和性會阻止部署到不相符的叢集。 偏好的親和性可對相符的叢集進行排序。

帶親和性的 PickN

將親和性與PickN放置原則搭配使用,就像在單一 Kubernetes 叢集上使用親和性與 Pod 排程一樣。

以下範例說明如何將資源部署到三個叢集。 只有具有 critical-allowed: "true" 標籤的叢集是有效的放置目標,並會優先使用具有標籤 critical-level: 1 的叢集:

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickn-critical-preferences
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickN
    numberOfClusters: 3
    affinity:
        clusterAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
              weight: 20
              preference:
              - labelSelector:
                  matchLabels:
                    critical-level: 1
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                      critical-allowed: "true"
apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickn-critical-preferences
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickN
    numberOfClusters: 3
    affinity:
        clusterAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
              weight: 20
              preference:
              - labelSelector:
                  matchLabels:
                    critical-level: 1
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - labelSelector:
                    matchLabels:
                      critical-allowed: "true"
帶拓撲分散限制的 PickN

利用拓撲擴散約束強制跨拓撲邊界的配置,以滿足可用性需求。

你可以透過以下 whenUnsatisfiable 特性來配置拓撲擴散約束的行為:

  • DoNotSchedule:如果無法滿足此限制,則部署要求會失敗。
  • ScheduleAnyway: 如果限制無法達成,還是要投入資源。

以下範例說明如何將資源分散到多個 Azure 區域,並嘗試透過自訂標籤updateDay在不同更新天的成員叢集間排程。

當無法滿足 Azure 跨區域分散要求時,配置會失敗。 如果未滿足 updateDay 限制條件,仍會進行放置。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickn-locations-updates
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickN
    topologySpreadConstraints:
    - maxSkew: 2
      topologyKey: fleet.azure.com/location
      whenUnsatisfiable: DoNotSchedule
    - maxSkew: 2
      topologyKey: updateDay
      whenUnsatisfiable: ScheduleAnyway
apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickn-locations-updates
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickN
    topologySpreadConstraints:
    - maxSkew: 2
      topologyKey: fleet.azure.com/location
      whenUnsatisfiable: DoNotSchedule
    - maxSkew: 2
      topologyKey: updateDay
      whenUnsatisfiable: ScheduleAnyway

如需詳細資訊,請參閱 KubeFleet 文件中的拓撲擴展限制。

透過標籤和屬性選擇叢集

Fleet Manager 智慧資源配置提供了一組強大的條件,讓你在使用 PickN 和 PickAll 配置類型時,決定如何選擇叢集。 在本節中,您將學習如何運用這些選項來制定符合您需求的保單。

配置政策選項

下表顯示每種安置類型的可用排程政策欄位。

原則欄位 PickFixed PickAll PickN
placementType ✅ ✅ ✅
affinity ❌ ✅ ✅
clusterNames ✅ ❌ ❌
numberOfClusters ❌ ❌ ✅
topologySpreadConstraints ❌ ❌ ✅

成員群標籤

你可以像對任何 Kubernetes 資源一樣,在集線器叢集上標記 MemberCluster 資源。

此外,Fleet Manager 會自動為所有成員叢集新增以下唯讀標籤。

標籤 說明
fleet.azure.com/location Azure 群集區域(westus)
fleet.azure.com/resource-group Azure 叢集的資源群組(rg_prodapps_01)
fleet.azure.com/subscription-id 叢集所在的 Azure 訂用帳戶識別碼。 格式化為 UUID/GUID。
fleet.azure.com/cluster-name 與艦隊成員叢集資源相關的叢集名稱。
fleet.azure.com/member-name 對應叢集的「機群管理員」成員叢集名稱。

叢集屬性

請將以下物業納入安置政策。

屬性名稱 說明
kubernetes-fleet.io/node-count 成員叢集上的可用節點。
resources.kubernetes-fleet.io/total-cpu 叢集的CPU資源單位總計。
resources.kubernetes-fleet.io/allocatable-cpu 叢集的可分配 CPU 資源單位。
resources.kubernetes-fleet.io/available-cpu 叢集的可用CPU資源單位。
resources.kubernetes-fleet.io/total-memory 叢集的記憶體資源單位總計。
resources.kubernetes-fleet.io/allocatable-memory 叢集的可分配記憶體資源單位。
resources.kubernetes-fleet.io/available-memory 叢集的可用記憶體資源單位。
kubernetes.azure.com/per-cpu-core-cost 叢集的每個 CPU 核心成本。
kubernetes.azure.com/per-gb-memory-cost (每GB記憶體成本) 叢集的每個 GiB 記憶體成本。
kubernetes.azure.com/vm-sizes/{vm-sku-name}/count 叢集中可用 vm-sku-name 類型的現有節點數量*。
虛擬機 SKU 名稱範例:NV16as_v4。
* 預覽階段使用 v1beta1 API。
kubernetes.azure.com/vm-sizes/{vm-sku-name}/capacity 叢集 Azure 區域中 潛在新節點 類型為 vm-sku-name 的數量*。
虛擬機 SKU 名稱範例:NV16as_v4。
* 預覽階段使用 v1beta1 API。
  • Kubernetes 資源單元代表 CPU 與記憶體屬性。 欲了解更多資訊,請參閱 Kubernetes 中的資源單元。

  • 成本屬性是小數點,代表叢集內節點使用的 Azure 運算每小時成本(以美元計)。 成本是根據 Azure 公開定價計算。

篩選匹配標準

當你在政策條件中使用叢集屬性時,請指定:

  • 名稱:該物業名稱,該物業是本文 中列出的物業 之一。

  • 運算子:一種運算子,表示約束或期望值與群集上觀察值之間的條件。 目前支援以下運算子:

    • Gt (大於):叢集對指定屬性的觀察值必須大於條件中的值,然後才能選擇它進行資源放置。
    • Ge (大於或等於):叢集對指定屬性的觀察值必須大於或等於條件中的值,然後才能選擇它進行資源放置。
    • Lt (小於):指定屬性的叢集之觀察值必須小於條件中的值,然後才能選擇它進行資源放置。
    • Le (小於或等於):指定屬性的叢集之觀察值必須小於或等於條件中的值,然後才能選擇它進行資源放置。
    • Eq (等於):指定屬性之叢集的觀察值必須等於條件中的值,然後才能選擇它進行資源放置。
    • Ne (不等於):叢集中觀察到的屬性值不得等於條件值,才能選擇該物件作為資源配置。

    如果使用運算子 Gt、Ge、Lt、Le、Eq 或 Ne,則條件中的值清單應該只有一個值。

  • 值: 值清單,這些值是 屬性的可能值。

Fleet 會根據你在條件中指定的屬性來評估每個叢集。 若叢集未符合下列條件 requiredDuringSchedulingIgnoredDuringExecution,艦隊將排除該叢集的資源放置。

備註

如果成員叢集不具備條件中表達的性質,則該條件自動失敗。

以下是只選取具有五個或多個節點的叢集的範例放置原則。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pickall-five-nodes
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - propertySelector:
                    matchExpressions:
                    - name: "kubernetes-fleet.io/node-count"
                      operator: Ge
                      values:
                      - "5"
apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall-five-nodes
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
    affinity:
        clusterAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
                clusterSelectorTerms:
                - propertySelector:
                    matchExpressions:
                    - name: "kubernetes-fleet.io/node-count"
                      operator: Ge
                      values:
                      - "5"

屬性排名的運作方式

當你使用 preferredDuringSchedulingIgnoredDuringExecution時,屬性排序器會根據所有叢集的數值,按升序或降序對所有叢集進行排序。 用於訂購的權重是根據你指定的價值計算的。

屬性排序程式包括:

  • 名稱:叢集屬性的名稱。
  • 排序順序:排序順序可以是 Ascending 或 Descending。 使用 Ascending 順序時,偏好觀測值較低的成員群集。 使用 Descending 順序時,偏好觀測值較高的成員群集。

欲了解更多資訊,請參閱 KubeFleet 關於基於物業排程的文件。

設定推出策略

Fleet Manager 資源配置採用預設 RollingUpdate 策略來控制資源如何分配給成員叢集。

以下範例中,部署將依序推送至每個成員叢集,並在叢集之間等待至少 unavailablePeriodSeconds。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-pick-all-rolling
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: prod-deployment
      version: v1
  policy:
    placementType: PickAll
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
      unavailablePeriodSeconds: 60
apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall-rolling
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
      unavailablePeriodSeconds: 60

若所有資源正確應用於叢集,則部署狀態即視為成功。 此狀態不會連帶反映子資源的狀態,因此無法確認由 Deployment 在成員叢集中建立的 Pod 是否已就緒。

如需詳細資訊,請參閱 推出策略的檔。

使用容忍

你可以像對叢集中的節點設定污點一樣,對成員叢集設定污點。

資源配置支援容忍度的使用,每個容忍包含以下欄位:

  • key: 容忍的關鍵。
  • value: 容忍度的值。
  • effect:容忍度的效果,例如 NoSchedule。
  • operator: 容忍度的運算子,例如 Exists 或 Equal。

每種容忍度用來容忍施加在MemberCluster上的一個或多個特定污點。 當所有污染被容忍後,艦隊管理者即可將資源分配給成員叢集。

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: test-ns
spec:
  policy:
    placementType: PickAll
    tolerations:
      - key: app-team-a
        operator: Exists
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: test-ns
      version: v1
  revisionHistoryLimit: 10
  strategy:
    type: RollingUpdate
apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp-pickall-rolling
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickAll
    tolerations:
      - key: app-team-a
        operator: Exists
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
      unavailablePeriodSeconds: 60

如需詳細資訊,請參閱 關於容忍的文件。

使用信封資源

Fleet Manager 的樞紐叢集同時也是 Kubernetes 叢集。 首先,將你想分發的任何資源套用到集線器叢集。 這種方法可能導致:

  1. 意外副作用:ValidatingWebhookConfigurations、MutatingWebhookConfigurations 或 Admission Controllers 會在樞紐叢集上啟用,可能會攔截並影響樞紐叢集操作。

  2. 安全風險:RBAC 資源(角色、叢集角色、角色綁定、ClusterRoleBindings)可用於成員叢集,可能會授權或限制樞紐叢集的權限。

  3. 資源限制:為成員叢集定義的 ResourceQuotas、FlowSchema 或 LimitRanges 會在樞紐叢集生效。

為避免不必要的副作用,Fleet Manager 提供自訂的包絡資源(ClusterResourceEnvelope 與 ResourceEnvelope)來包裝物件,避免這些潛在問題。

你會把包絡資源套用到集聯叢集,但裡面包含的資源會在到達成員叢集時被提取並套用。

如需詳細資訊,請參閱 信封物件的文檔。

判斷放置狀態

Fleet Manager 資源配置提供兩種方式,根據您的樞紐叢集存取權限與需求查看狀態:

  • ClusterResourcePlacement 狀態:直接在集群範圍的ClusterResourcePlacement資源上查看放置狀態。 當你有叢集層級權限,需要查看整個車隊中任何部署的狀態時使用。
  • ResourcePlacement 狀態:可以直接在命名空間範圍的ResourcePlacement資源上查看放置狀態。 當你擁有命名空間層級的權限並需要查看整個系統中命名空間範圍配置的狀態時使用。

檢視 ClusterResourcePlacement 狀態

請使用指令 kubectl describe resourceplacement <rp-name> 查看此資訊。

kubectl describe resourceplacement place-cmap-1
  • ClusterResourcePlacementStatus:透過命名空間範圍的ClusterResourcePlacementStatus資源查看配置狀態。 當需要讓命名空間範圍的使用者在不授與叢集層級權限的情況下檢視放置狀態時,請使用此資源。 欲了解更多資訊,請參閱 ClusterResourcePlacementStatus 章節。

這兩種方法都提供了以下資訊:

  • 目前實習適用的條件,包括實習是否成功完成。
  • 每個成員叢集的放置狀態區段,其中顯示該叢集的部署狀態。

使用 ClusterResourcePlacement 狀態

以下範例顯示使用ClusterResourcePlacement,直接從部署test命名空間與 test-1 ConfigMap 到兩個成員叢集的PickN檢視狀態。 放置已順利完成,而且資源已放入 aks-member-1 和 aks-member-2 叢集。

請使用指令 kubectl describe clusterresourceplacement <crp-name> 查看此資訊。

kubectl describe clusterresourceplacement crp-1
Name:         crp-1
Namespace:
Labels:       <none>
Annotations:  <none>
API Version:  placement.kubernetes-fleet.io/v1
Kind:         ClusterResourcePlacement
Metadata:
  ...
Spec:
  Policy:
    Number Of Clusters:  2
    Placement Type:      PickN
  Resource Selectors:
    Group:
    Kind:                  Namespace
    Name:                  test
    Version:               v1
  Revision History Limit:  10
Status:
  Conditions:
    Last Transition Time:  2023-11-10T08:14:52Z
    Message:               found all the clusters needed as specified by the scheduling policy
    Observed Generation:   5
    Reason:                SchedulingPolicyFulfilled
    Status:                True
    Type:                  ClusterResourcePlacementScheduled
    Last Transition Time:  2023-11-10T08:23:43Z
    Message:               All 2 cluster(s) are synchronized to the latest resources on the hub cluster
    Observed Generation:   5
    Reason:                SynchronizeSucceeded
    Status:                True
    Type:                  ClusterResourcePlacementSynchronized
    Last Transition Time:  2023-11-10T08:23:43Z
    Message:               Successfully applied resources to 2 member clusters
    Observed Generation:   5
    Reason:                ApplySucceeded
    Status:                True
    Type:                  ClusterResourcePlacementApplied
  Placement Statuses:
    Cluster Name:  aks-member-1
    Conditions:
      Last Transition Time:  2023-11-10T08:14:52Z
      Message:               Successfully scheduled resources for placement in aks-member-1 (affinity score: 0, topology spread score: 0): picked by scheduling policy
      Observed Generation:   5
      Reason:                ScheduleSucceeded
      Status:                True
      Type:                  ResourceScheduled
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully Synchronized work(s) for placement
      Observed Generation:   5
      Reason:                WorkSynchronizeSucceeded
      Status:                True
      Type:                  WorkSynchronized
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully applied resources
      Observed Generation:   5
      Reason:                ApplySucceeded
      Status:                True
      Type:                  ResourceApplied
    Cluster Name:            aks-member-2
    Conditions:
      Last Transition Time:  2023-11-10T08:14:52Z
      Message:               Successfully scheduled resources for placement in aks-member-2 (affinity score: 0, topology spread score: 0): picked by scheduling policy
      Observed Generation:   5
      Reason:                ScheduleSucceeded
      Status:                True
      Type:                  ResourceScheduled
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully Synchronized work(s) for placement
      Observed Generation:   5
      Reason:                WorkSynchronizeSucceeded
      Status:                True
      Type:                  WorkSynchronized
      Last Transition Time:  2023-11-10T08:23:43Z
      Message:               Successfully applied resources
      Observed Generation:   5
      Reason:                ApplySucceeded
      Status:                True
      Type:                  ResourceApplied
  Selected Resources:
    Kind:       Namespace
    Name:       test
    Version:    v1
    Kind:       ConfigMap
    Name:       test-1
    Namespace:  test
    Version:    v1
Events:
  Type    Reason                     Age                    From                                   Message
  ----    ------                     ----                   ----                                   -------
  Normal  PlacementScheduleSuccess   12m (x5 over 3d22h)    cluster-resource-placement-controller  Successfully scheduled the placement
  Normal  PlacementSyncSuccess       3m28s (x7 over 3d22h)  cluster-resource-placement-controller  Successfully synchronized the placement
  Normal  PlacementRolloutCompleted  3m28s (x7 over 3d22h)  cluster-resource-placement-controller  Resources have been applied to the selected clusters

使用 ClusterResourcePlacementStatus 資源

ClusterResourcePlacementStatus資源受限於命名空間,並提供對應叢集範圍ClusterResourcePlacement物件的狀態命名空間特定視圖。 此資源使沒有叢集層級權限的命名空間使用者能讀取位置狀態,而不會暴露來自其命名空間外的資訊。

這很重要

自 2027 年 1 月 31 日起,命名空間專屬檢視僅包含所選命名空間及其內的資源與參考。 Fleet Manager 省略了叢集範圍及跨命名空間的資源與參考。 它也會將漂移與差分細節中非空的成員叢集與集線器值替換為 (redacted)。 叢集範圍 ClusterResourcePlacement 的狀態保持不變。

若要使用此方法,請使用 ClusterResourcePlacement API 將statusReportingScope: NamespaceAccessible設定為具有v1 。

當你設 statusReportingScope 為 NamespaceAccessible時,你只能指定一個命名空間資源選擇器,且建立後無法更改。

配置 ClusterResourcePlacementStatus

若要使用此功能,請在您的 ClusterResourcePlacement 中指定 v1 API 版本:

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: crp-with-status-reporting
spec:
  statusReportingScope: NamespaceAccessible
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
  policy:
    placementType: PickAll

檢視 ClusterResourcePlacementStatus

您可以使用以下 kubectl describe 指令查看狀態:

kubectl describe clusterresourceplacementstatuses.v1.placement.kubernetes-fleet.io crp-with-status-reporting -n my-app

輸出包含在所選命名空間內可見的狀態資訊。 它包含所選命名空間、該命名空間中的資源,以及對相同命名空間資源覆寫和資源封裝的參考。 它不包含叢集範圍或跨命名空間的資源、叢集資源覆寫或叢集資源封裝。

漂移和差分細節會保留它們的 JSON 路徑。 Fleet Manager 將每個非空的 valueInMember 和 valueInHub 值替換為 (redacted)。 空值繼續表示該側的 JSON 路徑不存在。

若應用程式讀取 ClusterResourcePlacementStatus,請在 2027 年 1 月 31 日前更新,以容忍遺漏條目並將塗黑標記視為不可用資料。 若應用程式需要完整的資源身份或原始漂移與差異值,請使用具備適當叢集層級角色基礎存取控制(RBAC)權限的憑證讀取叢集範圍 ClusterResourcePlacement 狀態。

如需詳細資訊,請參閱如何了解刊登位置結果的文件。

放置變更觸發程序

艦隊管理者排程器優先考量現有資源配置的穩定性。 此優先權限制移除與重新排程資源的變更次數。

下列情境可能會觸發位置變更:

  • 資源配置政策變更(ClusterResourcePlacement 或 ResourcePlacement)可觸發資源的移除與重新排程。
    • 擴展作業(增加 numberOfClusters 且無其他變動)只會將工作負載放在新的叢集上,不影響現有的配置。
  • 成員群變動,包括:
    • 當新成員叢集變為合格且符合PickAll原則等放置原則時。
    • 從機群移除一個成員叢集。 根據政策不同,排程器會嘗試將所有受影響的資源放置到剩餘的叢集,而不影響現有的配置。

更新所選資源(例如修改一個 Deployment)或更新資源放置中的 resourceSelector,會使 Fleet Manager 逐步推出現有的放置,但 不會 觸發資源的重新排程(也就是變更已選取的叢集)。

與 ResourcePlacement 及 ClusterResourcePlacement 合作

雖然 ClusterResourcePlacement 假設命名空間代表應用程式邊界,但實際世界的使用模式往往更為複雜。 組織經常將命名空間作為團隊邊界,而非應用程式邊界。 這種做法會帶來若干挑戰,而 ResourcePlacement 正是直接因應這些挑戰的方案:

多應用程式命名空間:在許多組織中,單一命名空間包含多個由同一團隊擁有的獨立應用程式。 這些應用可能包括:

  • 不同的生命週期需求。 例如,一個應用程式可能需要頻繁更新,而另一個則保持穩定。
  • 不同的叢集部署位置需求。 例如,開發與生產應用的差異。
  • 獨立調整與資源需求。
  • 各自的合規或治理要求。

個別排程決策:許多工作負載,特別是 AI/ML 工作,都需要個別排程決策:

  • AI 工作:機器學習工作負載通常為短命且耗資源密集的工作,需根據叢集資源可用性、GPU 可用性或資料區域性來排程。
  • 批次工作負載:同一命名空間內的不同批次工作可能根據計算需求針對不同的叢集類型。

完整的應用程式團隊控制: ResourcePlacement 讓應用程式團隊能直接掌控資源配置,無需平台團隊介入:

  • 自助營運:團隊可以自行管理資源分配策略。
  • 獨立部署週期:同一命名空間內的不同應用程式可以有獨立的部署排程。
  • 細微覆寫功能:團隊可自訂每個叢集的資源配置,但不影響命名空間中的其他應用程式。

這種細緻的方法確保公司 ResourcePlacement 能適應多元的組織結構與工作量模式,同時維持車隊排程框架的簡潔與強大功能。

ResourcePlacement 與 ClusterResourcePlacement 的主要差異

以下表格突顯了 ResourcePlacement 和 ClusterResourcePlacement 之間的主要差異:

層面 資源置放(RP) 叢集資源置入(ClusterResourcePlacement,CRP)
範圍 僅限於命名空間範圍的資源 叢集範圍資源(尤其是命名空間及其內容)
資源 命名空間範圍的 API 物件 集群範圍的 API 物件
選擇邊界 限制為命名空間與保留點相同的資源 可以選擇任何叢集範圍內的資源
典型用例 AI/ML 工作、個別工作負載、需要獨立放置決策的特定 ConfigMaps/密碼 應用程式套件、整個命名空間、叢集範圍的政策
球隊所有權 命名空間擁有者與開發者 月台營運商

兩者在ResourcePlacementClusterResourcePlacement差異表中未列出的其他面向共享相同核心能力。

使用 ResourcePlacement 與 ClusterResourcePlacement 的範例情境

ResourcePlacement 與 ClusterResourcePlacement (CRP) 合作,提供完整的多叢集資源管理解決方案。 了解這種關係對於有效管理車隊至關重要。

這很重要

ResourcePlacement 只能將命名空間範圍的資源放置到已經擁有目標命名空間的叢集。 用於 ClusterResourcePlacement 建立命名空間。

典型工作流程:

  1. 平台管理員:用於 ClusterResourcePlacement 在整個艦隊部署命名空間。
  2. 應用程式團隊:用於 ResourcePlacement 管理這些已建立命名空間中的特定資源。

以下範例說明如何協調CRP與RP。

平台管理員:透過以下方式 ClusterResourcePlacement建立命名空間:

apiVersion: placement.kubernetes-fleet.io/v1
kind: ClusterResourcePlacement
metadata:
  name: app-namespace-crp
spec:
  resourceSelectors:
    - group: ""
      kind: Namespace
      name: my-app
      version: v1
      selectionScope: NamespaceOnly # only namespace itself is placed, no resources within the namespace
  policy:
    placementType: PickAll # If placement type is not PickAll, the application teams needs to know what are the clusters they can place their applications.

應用程式團隊:透過以下方式 ResourcePlacement管理命名空間內的特定資源:

apiVersion: placement.kubernetes-fleet.io/v1
kind: ResourcePlacement
metadata:
  name: app-configs-rp
  namespace: my-app
spec:
  resourceSelectors:
    - group: ""
      kind: ConfigMap
      version: v1
      labelSelector:
        matchLabels:
          app: my-application
  policy:
    placementType: PickFixed
    clusterNames:
    - cluster1
    - cluster2

ResourcePlacement 與 ClusterResourcePlacement 的最佳實務

將 ResourcePlacement 與 ClusterResourcePlacement 搭配使用時,請遵循以下最佳做法:

  • 先建立命名空間:在建立 ResourcePlacement 物件前,務必透過 CRP 部署命名空間。
  • 監視相依性:使用機群監視確保命名空間層級的 CRP 在部署相依 RP 前保持良好狀態。
  • 協調政策:協調CRP與RP安置政策,以避免衝突。 例如,如果 CRP 將命名空間放在叢集 A、B 和 C 上,RP 就能針對這些叢集中任一子集。
  • 團隊邊界:平台管理資源(命名空間、RBAC)使用CRP,應用程式管理資源(應用程式設定、秘密)使用RP。

這種協調的做法確保 ResourcePlacement 團隊在維持由平台營運商管理的基礎基礎設施的同時,提供團隊所需的彈性。

資源選擇、放置與推廣

ResourcePlacement 使用與以下相同的擺放模式 ClusterResourcePlacement:

  • 放置策略: PickAll、 PickFixed、 以及 PickN 政策對兩個 API 的運作方式相同。
  • 推出策略:控制更新如何在使用相同滾動更新機制的叢集間傳播。
  • 狀態與可觀察性:使用 kubectl describe resourceplacement <name> -n <namespace> 監視部署進度。
  • 進階功能:使用容忍度、資源覆蓋、拓撲擴散約束及親和力規則。

關鍵差異在於 資源選擇 範圍。 雖然 ClusterResourcePlacement 通常會選擇整個命名空間及其內容,但 ResourcePlacement 能對個別命名空間範圍內的資源提供細緻的控制。

下一步