Fleet Manager 中樞叢集概觀

適用於: ✔️具備樞紐叢集的 Fleet Manager

啟用時,Fleet Manager 中樞叢集會作為使用 資源放置跨成員叢集進行 Kubernetes 資源傳播的中央管理點。

什麼是 Fleet Manager 集線器叢集?

在 Azure Kubernetes Fleet Manager 中,中樞叢集在管理多成員叢集時扮演關鍵角色,但它們是可選的。

樞紐叢集透過KubeFleet的託管版本,促進資源佈置與艦隊管理的命名空間。

在此配置下,車隊由以下組成部分組成:

配置為樞紐叢集時的艦隊資源示意圖,包括樞紐叢集代理與成員叢集代理。

  • fleet-hub-agent:一個 Kubernetes 控制器,負責建立並調和樞紐叢集中所有與艦隊相關的自訂資源(CR)。
  • fleet-member-agent:一個 Kubernetes 控制器,負責建立並調和成員叢集中所有與艦隊相關的 CR。 此控制器會從中樞叢集提取最新的 CR,並一致地協調成員叢集以與所需的狀態相符。

中樞叢集設定

Fleet Manager 中樞叢集是完全受控的 Azure Kubernetes Service (AKS) 叢集,其具有下列屬性:

  • 叢集名稱與位置:樞紐叢集一律名為hub,並建立於與 Fleet Manager 相同的 Azure 區域。
  • 適用於集線器叢集的 Azure 資源群組:集線器叢集 AKS 資源會建立在受控資源群組中,其命名格式為 FL_{fleet_manager_resource_group}_{fleet_manager_name}_{azure_region}。
  • 樞紐叢集資源的 Azure 資源群組:與任何 AKS 叢集一樣,樞紐叢集具有 Azure 資源,例如代理節點集區虛擬機器擴展集及虛擬網路,這些資源皆建立於受管理資源群組中,其命名格式為 MC_FL_{fleet_manager_resource_group}_{fleet_manager_name}_{azure_region}。
  • 樞紐叢集節點:集線器叢集有一個節點池,裡面只有一個節點執行 Azure Linux。 該節點不會執行任何 Pod,而且不會影響中樞叢集效能。 從 Azure CLI 建立中樞叢集時,您可以使用 參數來選擇節點虛擬機 (VM) SKU 類型 --vm-size 。
  • 網路配置: 公共樞紐叢集擁有公共 API 伺服器,並附有相應的公開 IP 位址。 設定為私人存取時,API 伺服器只能透過 Azure 虛擬網路存取。

中樞叢集限制

中樞叢集具有下列限制,可確保其功能符合資源傳播和管理的必要條件:

  • 命令叫用已停用:對於中樞叢集,已停用透過 Azure CLI(az aks command invoke)進行命令叫用。
  • 本機驗證已停用:透過管理員kubeconfig存取被停用,確保驗證完全透過 Microsoft Entra ID 進行,透過集中控制存取來提升安全性。 使用 az fleet get-credentials 以取得中樞叢集的 kubeconfig。
  • 拒絕指派:對中樞叢集的 Azure 組態及相關資源所做的變更會透過 Azure 拒絕指派封鎖。 使用下列拒絕指派:
    • FLRG-DenyAssignments-{guid}:套用於中樞叢集資源群組,防止使用者修改中樞叢集。
    • kubernetes.azure.com/{guid}(選用):此拒絕指派可防止使用者修改 Hub 叢集中的 AKS 資源(虛擬機器擴展集、networks),如 AKS 節點資源群組鎖定中所述。
  • 未實例化的已套用資源: 樞紐叢集不會將套用的 Kubernetes 資源排程到樞紐叢集節點上。 某些 Kubernetes 資源必須使用信封物件來套用,以避免對中樞叢集造成副作用。 如需信封對象的詳細資訊,請參閱 Envelope Objects 的檔。

受保護資源存取限制

Important

自 2027 年 1 月 31 日起,機群管理員中樞叢集拒絕存取受保護的服務管理資源及特殊權限介面。 這些限制除了 Azure 角色基礎存取控制(Azure RBAC)之外也適用。 先前允許請求的 Azure 角色指派不會覆蓋這些限制。

以下 Kubernetes API 請求被拒絕:

  • 所有身分識別冒用要求。
  • 命名空間名稱以 fleet- 或 get 開頭時,除了 list、watch 和 kube- 之外的所有作業。
  • get、list以及watch在名稱以kube-或fleet-開頭的命名空間中,對 pods、secrets、service account、roles 和 role bindings 的請求。
  • 跨命名空間 list 及 watch pods、secret、service account、roles 及 role bindings 的請求。
  • 撰寫叢集角色與叢集角色綁定的請求。
  • 讀取並寫入對nodes/proxy子資源的要求。
  • 寫入要求以確認准入原則、確認准入原則繫結,以及確認名稱以fleet-builtin-開頭的 webhook 組態。
  • 用於驗證准入政策、驗證准入政策綁定及驗證 webhook 配置的集合刪除請求。

客戶管理命名空間中其他支援的操作仍然可用。

識別受影響的 Fleet Manager 資源與自動化

若某 Fleet Manager 資源執行個體已啟用 hub 叢集,則可能受影響。 使用 Azure Resource Graph Explorer 來尋找以下資源:

Resources
| where type =~ "microsoft.containerservice/fleets"
| where isnotnull(properties.hubProfile)
| project id, name, subscriptionId, resourceGroup, location

擁有集線器叢集不一定代表你必須採取行動。 只有當你的使用者、腳本、控制器或 CI/CD 管線向 hub 叢集發送受限請求時,才會受到影響。

檢閱存取中樞叢集的自動化功能:

  • 模擬選項或標頭,包括 --as 和 --as-group。
  • 要求nodes/proxy。
  • 存取以 kube- 或 fleet- 開頭的命名空間。
  • 對受保護資源提出整個叢集或--all-namespaces列出與監看要求。
  • 叢集角色或叢集角色綁定的變更。
  • 名稱以fleet-builtin-開頭之確認資源的變更。
  • 確認資源的集合刪除。

更新受影響的自動化

2027年1月31日之前:

  • 將客戶擁有的資源與自動化從名稱以 kube- 或 fleet- 開頭的命名空間移出。
  • 將 pods、secrets、service accounts、roles 和 role bindings 的 list 和 watch 請求限於客戶管理的命名空間。
  • 進行資源放置時,將叢集角色與叢集角色繫結裝合在ClusterResourceEnvelope中。 欲了解更多資訊,請參閱 使用信封物件安全放置資源。
  • 若要程式化存取樞紐叢集,請使用專用的 Microsoft Entra 身份,指派其最低權限的 Fleet Manager RBAC 角色,且不要使用身份模擬。
  • 停止使用nodes/proxy子資源。
  • 不要修改名稱以 fleet-builtin- 開頭的驗證資源。
  • 以範圍限定於客戶管理資源的請求取代驗證資源的集合刪除。
  • 在強制執行日期前,測試更新的自動化。

如果你未在 2027 年 1 月 31 日前更新受影響的自動化系統,其受限請求將收到授權拒絕的回覆。 依賴這些請求的腳本、控制器、部署或操作工作流程可能會失敗或反覆重試。 如果你沒有使用任何受限操作,就不需要採取任何行動。

客戶的需求

為了讓 Fleet Manager 能夠建立並保持中樞叢集更新為最新修補程式,請確保:

  • Azure 原則不會封鎖叢集建立。 中樞叢集是受控 AKS 叢集。 如果你無法建立 AKS 叢集,那就無法建立 Fleet Manager 的中樞叢集。

  • 訂用帳戶具有足夠的配額。 在叢集升級程序期間,需要一個中樞叢集節點的額外 VM 執行個體。 如需增加配額的詳細資訊,請參閱 配額檔。

  • 中樞叢集具有因特網存取權。 需要輸出連線才能安裝更新。 具有使用者定義路由 (UDR) 或防火牆規則之網路上的私人中樞可能會封鎖輸出連線。 如需輸出連線的詳細資訊,請參閱 AKS 輸出網路的檔。

  • API 伺服器可以連通至樞紐節點。 如果具有 API 伺服器 VNet 整合 的私有樞紐叢集上的 NSG 規則限制子網路之間的流量,則允許從 API 伺服器子網路到叢集子網路的輸入流量通過 TCP 連接埠 10250。 若無此規則,使用 kubelet API 的操作,如擷取日誌或執行 exec,將失敗。 如需查看所有必要規則,請參閱 NSG 關於 API 伺服器 VNet 整合的安全性規則。

  • 不需要管理 Fleet Manager 中樞叢集的更新。 Microsoft 會在 AKS 提供最新版本的 Kubernetes 或節點映像時,自動更新中樞叢集。 您可以在 AKS 發行追蹤器上追蹤更新版本。