在多個叢集間安全地更新 Kubernetes 和節點映像檔

適用於: ✔️ Fleet Manager ✔️ 具備樞紐叢集的 Fleet Manager

管理多個叢集的平台管理員常常難以安全且可預測地進行節點作業系統映像或 Kubernetes 版本升級。 Azure Kubernetes 機群管理員允許您透過使用更新執行,在多個叢集間協調執行這些升級。

更新流程包含階段、群組和策略。 您可以手動套用更新執行來進行一次性的更新,或使用自動升級設定檔自動套用持續進行的定期更新。 所有更新執行,不論是手動還是自動化,都會尊重叢集 維護視窗。

瞭解更新執行作業

Update 執行代表對一組 AKS 叢集套用更新。 它包含更新目標與順序。 更新目標描述了想要的更新內容。 例如,升級到特定的 Kubernetes 版本,或在所有叢集間套用一致的節點映像檔。

為了在使用更新執行時獲得最佳效果,理解以下概念非常重要。

  • 更新策略:描述由階段與叢集群組組成的可重複使用的更新序列。 叢集會根據指派給它的更新群組或成員標籤,顯示在某個階段的群組中。 欲了解更多資訊,請參閱 了解更新策略。

    • 更新階段:更新策略分為多個更新階段,這些階段會依序套用。 例如,測試環境叢集處於第一個更新階段,而生產環境叢集則進入第二個更新階段。 更新階段包含一個或多個更新群組。 你可以使用額外控制措施,例如最大並發時間、等待時間和批准閘門,來更好地控制更新階段的執行。

    • 更新群組:每個更新階段包含一個或多個更新群組,用以選擇要更新的叢集。 可透過叢集的「更新群組」屬性或使用 成員標籤進行標籤匹配,將成員叢集指派至更新群組。 更新階段中的更新群組會平行更新。

    附註

    每個更新階段的更新群組數目上限為 50。

    • 進一步的流程控制:提供更多控制選項,以靈活調整一組叢集的更新速度:

      • 最大並行性:使用 最大並行 性設定來變更平行升級的叢集數量。 你可以在舞台層級和群組層級設定此行為。

      • 最大允許失敗次數(預覽版):使用 最大允許失敗 數設定來控制在停止更新執行前容忍多少成員叢集升級失敗。 你可以在舞台層級和群組層級設定此行為。

      • 閘門:暫停更新執行,直到條件達成。

        • 核准門:可在每個階段或群組之前或之後設定。 核准會暫停更新程序,讓您或您設定的自動化系統檢查是否可以繼續。 經過您或您的自動化系統批准後,更新執行將繼續。

        • 排程啟動閘門:可在每個階段或群組之前設定。 排定的啟動閘會讓更新作業暫停,直到指定的日期與時間為止。 當到達排定時間時,關卡會自動完成;你也可以隨時手動將其完成,以繼續進行。

  • 自動升級設定檔:當 AKS 提供新的 Kubernetes 或節點映像版本時,自動建立並啟動更新執行。 欲了解更多資訊,請參閱 「了解自動升級設定檔」。

更新 執行選項

更新運行可套用三種升級:

  • 升級控制平面和節點的 Kubernetes 版本。 此升級包含節點映像的升級。
  • 僅升級叢集控制平面的 Kubernetes 版本。
  • 只升級節點映像。

你可以指定要升級的目標 Kubernetes 版本,但無法選擇目標節點的映像版本。 系統會根據你的偏好自動選擇目標節點影像版本:

  • 最新:在叢集升級開始時,請使用該叢集 Azure 區域中可用的最新節點映像檔。 因此,根據叢集所在的 Azure 區域以及升級開始的時間,不同版本的映像版本可能會在整個艦隊中使用。
  • 一致性:當更新執行開始時,請選擇目前在本次執行中叢集所在的所有 Azure 區域可用的映像版本。 因此,所有叢集都使用一致的影像版本。

選擇 最新 版本以使用較新的映像檔版本,並降低安全風險。 選擇 一致性 以提升可靠性,方法是先在早期階段的叢集中使用並驗證這些影像,再用於後續叢集。

更新執行狀態

要了解更新執行的生命週期,你需要知道每個狀態、可採取的動作,以及狀態的計算方式。

現況 可能的過渡 Description 可能的行動
尚未開始 - 執行中
- 待定
更新尚未開始執行。 None
執行 - 暫止
- 失敗
- 停止
至少有一個叢集正在進行更新。 停止
擱置 - 執行中
- 失敗
- 停止
目前階段尚未完成。
請參閱 詳細待處理狀態概述。
停止
跳過 - 已停止 詳見 詳細的跳過狀態總覽。 停止
已停止 - 執行中
- 待定
- 失敗
有使用者停止了更新執行。 開始
停止 - 已停止
- 失敗
使用者要求或叢集升級失敗觸發更新執行停止。
正在更新的叢集即將完成。
None
失敗 - 執行中
- 待定
- 失敗
叢集升級失敗,更新執行會以失敗狀態停止。
詳見 失敗狀態的詳細概述。
開始
已完成 None 更新執行成功完成。 None

附註

你可以隨時重啟失敗或停止的更新執行。 重新啟動的更新執行從最後一個未處理的叢集開始。

待處理狀態

  • 更新執行:如果目前階段處於 Pending 狀態狀態。
  • 更新階段:如果該階段中的所有更新群組皆為 Pending 或尚未開始,或設有 Pending 閘門。
  • 更新群組:如果群組中所有叢集都已 Pending 或尚未開始,或具有 Pending 閘門。 當叢集移動到 Pending時,更新執行會嘗試升級該群組中的下一個叢集。 若所有成員皆為 Pending,則群移動至 Pending。 更新流程會等到某一階段的所有團隊都完成後,再進入下一階段。
  • 成員叢集:基於下列任一原因,您可以在訊息欄位中查看。
    • 維護窗口未開啟。 訊息會指出下一次開啟時間。
    • Target Kubernetes 或節點映像版本尚未在叢集的 Azure 區域提供。 訊息連結至AKS釋放追蹤器以查詢釋放狀態。

跳過的狀態

  • 更新執行:系統偵測到所有階段皆為 Skipped。
  • 更新階段:使用者將該階段或該階段中的所有群組標記為 Skipped。
  • 更新群組:使用者將群組或群組中的所有叢集標記為 Skipped。
  • 成員叢集:基於下列任一原因,您可以在訊息欄位中查看。
    • 使用者明確略過了叢集、群組或階段。
    • 叢集已處於目標 Kubernetes 版本(如果更新執行模式為 Full 或 ControlPlaneOnly),且所有節點集區皆已使用目標節點映像版本。
    • 當選取一致的節點映像檔,且無法找到其中一個節點集區的目標映像版本時, 這種情況可能發生在更新執行開始後,新增一個帶有新虛擬機(VM)SKU 的節點池。

失敗狀態

如圖所示,失敗狀態會從叢集層層傳遞下去。 摘要錯誤訊息會顯示叢集升級失敗的原因。

  • 更新執行:目前群組中至少有一個叢集失敗。
  • 更新階段:該階段中群組中至少有一個叢集失敗。
  • 更新群組:群組中至少有一個叢集失敗。
  • 成員叢集:升級失敗,叢集狀態被設定為 Failed。

當你設定 最大允許失敗次數時,失敗閾值會影響更新群組、更新階段和更新執行的狀態。 它不會影響個別成員群組的狀態。 若成員叢集升級失敗,其狀態仍設定為 Failed。

  • 若該群組或階段的失敗次數超過設定 maxAllowedFailures 閾值,該群組或階段會以摘要錯誤訊息標記為 , Failed 更新執行即停止進行。 如果設定為 no maxAllowedFailures (或設定為 0),單一失敗就會停止整個運行。
  • 如果故障次數在閾 maxAllowedFailures 值內,更新執行會持續升級後續成員。 更多資訊請參見 最大允許故障次數。

附註

即使叢集更新失敗,其他進行中的叢集更新仍會繼續進行。 更新執行狀態顯示為 停止, 直到所有進行中的叢集更新完成。

完工狀態

狀態 Completed 表示更新執行已達到終端生命週期狀態。 當你使用 最大允許故障次數時, Completed 表示當 Fleet Manager 決定是否繼續排程工作時,設定的故障門檻並未超過。 它不保證最低成功率或健康結果。 務必檢查 FailureCount會員國及故障訊息。

計劃性維護時段

更新執行會遵循您在 AKS 叢集層級設定的 規劃維護時段。

AKS 叢集支援兩個不同的維護時段 - 一個用於 Kubernetes (控制平面) 升級,一個用於節點映像升級。 維護時段會定義可將更新套用至叢集的期間,但不是更新觸發器。

機群管理員更新執行會遵循 AKS 維護時段,如下所示:

Fleet Manager 更新通道 AKS 升級選項 AKS 維護時段設定
Kubernetes 控制平面 Kubernetes 版本 AKSManagedAutoUpgradeSchedule
Kubernetes + 節點映像 Kubernetes 版本 AKSManagedAutoUpgradeSchedule
僅限節點映像 節點映像 AKSManagedNodeOSAutoUpgradeSchedule

更新執行會根據計劃性維護,依下列順序排列升級叢集的優先順序:

  1. 設有已開啟持續維護時段的叢集
  2. 已在接下來四小時內開啟維修時段的叢集。
  3. 沒有維護時段的叢集。
  4. 已關閉維護時段的叢集

AKS 平台發起的升級

Fleet Manager 會在 AKS 支援期間內協調成員叢集的升級。 當叢集的 Kubernetes 版本達到生命週期結束時,將進入 60 天 的平台支援寬限期。 若叢集在此期間後仍維持在不支援版本,AKS 將直接對成員叢集進行 平台發起的升級 。

由於 AKS 直接啟動此升級,機群管理員更新執行、更新群組與更新原則無法控制其順序。 升級也可能發生在叢集預定維護期間之外。

為了讓升級保持在 Fleet 協調之下,請使用 Update Runs 和 自動升級設定檔 ,讓成員叢集維持在支援的 Kubernetes 版本。

自動升級設定檔概觀

使用自動升級設定檔,當 AKS 有新的 Kubernetes 或節點映像版本可用時,自動觸發更新執行。

在自動升級設定檔中,你可以設定:

  • 一個 通道 (Rapid、 Stable、 TargetKubernetesVersion、 NodeImage、 SecurityPatch),用來決定對叢集套用的更新類型。
  • 一個 UpdateStrategy 來設定叢集升級的順序。 如果你沒有提供策略,叢集會依序更新。
  • NodeImageSelectionType(最新且一致)用來指定升級 Kubernetes 版本時如何選擇節點映像。

附註

當您建立自動升級設定檔時,會需要數日或數週,AKS 發行的新 Kubernetes 或節點映像版本才會觸發自動升級,以建立並執行更新執行。

你可以隨時用這個 az fleet autoupgradeprofile generate-update-run 指令從自動升級設定檔產生更新執行。 產生的更新執行是以目前 AKS 發佈的 Kubernetes 或節點映射版本為基礎。

如需從自動升級配置檔建立隨選更新執行的詳細資訊,請參閱 從自動升級配置檔產生更新執行。

使用自動升級時,請記住下列資訊:

  • 自動升級只會更新到一般可用的 Kubernetes 版本,不會更新到預覽版。

  • 自動升級需要叢集的 Kubernetes 版本位於 AKS 支援視窗中。

  • 如果叢集沒有定義的計畫維護視窗,更新到達叢集時會立即升級。

  • 如果你想升級 Kubernetes 版本,就必須建立使用 Rapid、Stable 或 TargetKubernetesVersion 通道的自動升級設定檔。

  • 使用 TargetKubernetesVersion 通道時,您必須使用 --target-kubernetes-version 參數來指定目標 Kubernetes 版本。

  • 如果你想升級節點映像檔版本,請使用 NodeImage 或 SecurityPatch 通道建立自動升級設定檔。

  • 該 SecurityPatch 頻道僅對 Linux 節點套用安全修補程式。 Windows 節點會被跳過。

  • 你可以為同一個車隊管理員建立多個自動升級設定檔。

快速通道

Rapid 通道一律是最新的 AKS 支援的 Kubernetes 次要版本。 當 AKS 釋出新的 Kubernetes 次要版本時,叢集的小型版本會自動更換。

範例:

  • 最新支援的次要版本是 1.30。 任何屬於 1.30 次要版本範圍內的修補版本,都會被納入 Rapid 頻道更新的考量。
  • 1.31 的新次要 Kubernetes 版本已發佈。 1.30 轉入穩定頻道。 任何先前透過 1.30 接收更新的叢集,都會更新至目前屬於 Rapid 頻道的最新 1.31 修補程式版本。

穩定頻道

穩定通道總是在 快速 通道之前的次要版本。 有時候,人們會把 Stable 稱為 「N-1」,其中 「N」 是最新(Rapid channel)支援的 Kubernetes 次要版本。 當 AKS 釋出新的 Kubernetes 次要版本時,叢集的小型版本會自動更換。

範例:

  • 最新支援的次要 Kubernetes 版本為 1.30。 任何在 1.29 次要範圍中的修補程式版本都會被視為 Stable 通道更新。
  • 1.31 的新次要 Kubernetes 版本已發佈。 穩定頻道會將 1.30 次要版本範圍內的任何修補程式版本視為可更新的版本。 任何先前從 1.29 開始更新的叢集都會更新到 1.30 的最新補丁。

TargetKubernetesVersion 頻道

TargetKubernetesVersion 通道讓你能控制何時將叢集移至下一個 Kubernetes 小版本。 您必須指定目標 Kubernetes 版本,格式為「{major}.{minor}」(例如「1.33」)。 當補丁可用時,Fleet Manager 會自動將叢集升級至指定目標 Kubernetes 版本的最新補丁版本。 在自動升級設定檔中的目標 Kubernetes 版本更新之前,機群管理員不會升級至下一個次要版本。

範例:

  • 你可以透過 TargetKubernetesVersion 通道建立自動升級設定檔,並指定目標 Kubernetes 版本為「1.30」。 新的修補程式版本 1.30.5 已發佈。 系統會自動建立目標版本為 1.30.5 的更新執行作業。
  • 你可以透過 TargetKubernetesVersion 通道建立自動升級設定檔,指定目標 Kubernetes 版本為「1.29」,並在自動升級設定檔中啟用 LongTermSupport(LTS)。 最新的社群支援次要版本是「1.33」。 新的修補程式版本 1.29.5 已發布。 系統會自動建立目標版本為 1.29.5 的更新執行作業。 如果產生的更新執行包含未啟用 LTS 的叢集,則會失敗。

次要版本略過行為

當有多個次要 Kubernetes 版本差異時,自動升級不會在次要 Kubernetes 版本之間移動叢集 (例如:1.28 到 1.30)。 當管理員擁有多元的 Kubernetes 版本時,首先會使用一次或多次 更新執行 ,將叢集整合進一組一致版本的版本中,這樣配置 Stable 或 Rapid 通道更新就能確保未來的一致性。

NodeImage 通道

成員叢集節點每週都會使用新修補的 VHD 進行更新,其中包含安全性修正和錯誤修正。 新 VHD 的更新會根據維護時段和激增設定中斷執行。 選擇此選項不會產生額外的 VHD 成本。 只要仍支援 Kubernetes 次要版本,節點映像升級就支援已淘汰的修補程式版本。 節點映像經過 AKS 測試,完全管理,並採用安全的部署做法。

不同作業系統上的節點會依照與該作業系統對齊的節點映像版本進行更新。

範例:

  • 叢集中有 NodeImage 為 AKSWindows-2022-containerd 版本 20348.2582.240716 的節點。 發行新的 NodeImage 版本 20348.2582.240916 ,且叢集節點會自動升級至 20348.2582.240916 版。

這很重要

節點映像版本僅有效於原始發布日起 90 天內。 若更新所選目標節點映像版本在成員叢集升級時已超過 90 天窗口,該成員叢集的升級可能會失敗。

了解節點映像升級與快照

當叢集擁有 由節點池快照建立的代理池時,節點映像升級的結果取決於 Fleet Manager Update Run 節點映像的選擇。

節點影像選擇 升級結果
Latest 遵從標準 AKS 升級程序。 代理池會保留對快照 creationData 的引用,並且節點映像不會被修改。
一致 節點映像檔會升級至由艦隊管理員決定的版本。 已從 Agent 集區移除對快照 (creationData) 的參考。

SecurityPatch 頻道

每週更新成員叢集的 Linux 節點,並僅套用安全性修正。 Canonical Ubuntu 和 Azure Linux 每天提供一次作業系統安全補丁。 Microsoft 測試這些修補程式,並將它們打包成每週更新的節點映像檔。

SecurityPatch 自動升級通道的干擾較小,因為它盡可能使用作業系統即時修補,將節點中斷降到最低,同時保護節點免受已知漏洞侵害。 當無法即時修補時,會部署預先修補好的節點映像檔。

使用 SecurityPatch時,只有基於 Linux 的節點會被更新,而 Windows 基礎的節點會自動跳過。

如果你需要新節點映像(VHD)附帶的錯誤修正,或是想要與 Windows 節點保持一致的體驗,請選擇 NodeImage 頻道。

了解更新策略

管理員可透過一系列更新階段與群組建立可重複使用的更新策略,控制叢集更新的順序。 他們可以設定何時應在這些階段和群組中進行核准和暫停。 整個組態可儲存為更新策略,可獨立於更新執行或自動升級設定檔管理,允許策略依需重複使用。

一張顯示包含兩個更新階段的更新策略範例的圖表。每個更新階段包含兩個更新群組。每個更新群組包含兩個叢集。

使用成員標籤來分組叢集

成員標籤可用來分組叢集,並用 Kubernetes 風格的標籤選擇器來設定更新序列。 這樣一來,你可以為成員叢集指派多個標籤,並用它們來執行不同策略,而不必被限制在每個叢集只用一個更新群組。 你可以在策略中將叢集及其成員標籤分組,並在策略上配置 memberSelector 兩個層級:

  • 階段層級:選取整個階段的叢集。 當沒有群被定義時,所有匹配的群集會形成一個隱含群。 當群組也被定義時,階段層級選擇器作為前置過濾器,然後再套用群組層級匹配。
  • 群組層級:為階段內特定群組選擇叢集,啟用具有不同並發限制的平行子集。

memberSelector 使用基於字串的標籤選擇器,並以標準 Kubernetes 標籤選擇器語法進行解析。 支援的運算子有:=、、==!=、innotinexists和。!exists

附註

在更新策略中,使用成員標籤而非更新群組來將叢集分組。 透過會員標籤,您可以輕鬆管理擁有動態會員和複雜分組需求的大型車隊。

現有的團體名稱策略持續運作,且未作更動。

關於如何分配成員標籤及策略使用 memberSelector 說明,請參閱 使用成員選擇器建立更新策略。

並行最大值

Maximum concurrency 是更新策略中的一項選用設定,用來控制可同時升級的叢集數量。 你可以設定 Maximum concurrency 兩個等級:

  • 階段層級:定義在同一階段所有群組中,可同時升級的最大叢集數量。 充當暫存區的全域上限。
  • 群組層級:定義特定群組內可同時升級的最大叢集數量。

附註

最大並行值的上限為:

  • 階段層級:不能超過系統上限 50。
  • 群組層級:不能超過階段層級的最大並發值,也不能超過群組中的叢集數量。
  • 若配置值超過這些限制,該操作將被拒絕。

當未指定最大並行時,預設為 stage.maxConcurrency = 50 和 group.maxConcurrency = 1。

在此功能啟用前建立的現有更新策略與更新執行,會在資源下次更新時自動接收這些預設值。

最大並發接受兩種值形式:

  • 固定整數:例如, "3" 限制並行性僅限於三個叢集。
  • 百分比:例如,"25%" 將並行數限制為叢集數量的一定百分比。 對於關卡層級設定,百分比是從該階段所有叢集中計算出來的。 對於群組層級的設定,百分比是從該群組中的叢集計算出來的。 百分比會在執行階段計算、無條件捨去,並以最低解析值 1 強制執行。

並行控制建議

如果你想安全升級(速度較低,但不太可能出現多個叢集故障):將最大並發值設為較小的值。 如果你想提升速度(速度更快,但更可能導致多個叢集失效):將最大並發值設為較大值。

階段與團體限制的互動方式

暫存層級的最大並行一律充當整體上限。 即使某些群組允許更高的並行度,階段限制仍然具有優先權。 群組層級的並行性可能低於設定,原因是階段層級限制、群組規模或成員特定條件。

範例 1:固定限制
Setting 價值
stage.maxConcurrency "4"
groupA.maxConcurrency "2"
groupB.maxConcurrency "2"

結果:最多可有四個群組,每組最多兩個。

範例 2:暫存區限制群組
Setting 價值
stage.maxConcurrency "2"
groupA.maxConcurrency "5"
groupB.maxConcurrency "5"

結果:因為階段限制優先,只有兩個叢集同時升級。

範例 3:基於百分比的部署

一個階段分為兩組20個群組:A組(8個群組)和B組(12組)。

Setting 價值 解析為
stage.maxConcurrency "25%" 5
groupA.maxConcurrency "50%" 4
groupB.maxConcurrency "25%" 3

結果:最多可同時進行五次升級,並依個別限制分配給各組。

最大允許失敗次數(預覽)

Maximum allowed failures 是選用的更新策略設定,用來控制機群管理員在多叢集更新期間如何因應失敗。

預設情況下,更新遵循快速失敗模型——單一叢集失敗會停止後續更新。 當你設定 maximum allowed failures時,更新執行會變得容錯,更新會持續跨叢集,直到達到指定的失敗閾值為止。

此設定在早期錯誤偵測與維持部署動能之間,巧妙地取得平衡。 將 maximum allowed failures 設為兩個層級:

  • 階段層級:定義在某個階段的所有群組中,可容忍的成員升級失敗最大次數;超過此次數後,該階段會被標記為失敗。
  • 群組層級:定義特定群組內在該群組被標記為失敗前,可容忍的最大成員升級失敗次數。

這很重要

Azure Kubernetes Fleet Manager 預覽功能以自助服務、選擇加入方式提供。 預覽是「依現況」及「可用時」提供的,並不包括在服務等級協定和有限保固之內。 客戶支援部門會竭盡全力支援一部分的 Azure Kubernetes 機群管理員預覽功能。 因此,這些功能不適合實際執行用途。

附註

  • 預覽期間,你只能透過直接的 REST API 呼叫或 Azure CLI maxAllowedFailures 擴充功能來設定fleet。 Azure 入口網站不支援設定maxAllowedFailures。 如果你透過 CLI 或 REST API 設定欄位,之後在入口網站編輯相同的更新策略或執行更新時,不會移除已設定的值。 若要將行為重設為 fail-fast,請將欄位設為 0。
  • 當您未指定maxAllowedFailures或將其值設為空時,解析後的值會預設為0,這會保留具速錯機制的行為:單一成員升級失敗會立即停止整個更新執行。 現有策略和更新執行會維持這種行為,除非你明確設定欄位,因此不需要遷移。

Maximum allowed failures 接受兩種數值形式:

  • 固定整數:例如, "3" 允許最多三個成員叢集故障,之後群組或階段才會被標記為失敗。
  • 百分比:例如, "25%" 允許最多 25% 成員叢集發生故障。 對於關卡層級設定,百分比是從該階段所有叢集中計算出來的。 對於群組層級的設定,百分比是從該群組中的叢集計算出來的。 百分比會在更新執行時使用無條件進位法解析,例如 5 個叢集的 25% 解析為 2。

Fleet Manager 僅依據成員更新失敗的次數來判定 maxAllowedFailures。 它不評估成功率,也不要求最低會員數量。 當此設定存在時, Completed 表示在 Fleet Manager 做出排程決策時,設定的故障門檻尚未超過。 Completed 但這並不代表這次推廣是健康或成功的。

範例:以 0% 的成功率完成

假設一個群有四個成員,且 group.maxAllowedFailures 設定為 "4"。 如果四個成員的更新都失敗,該群組仍可標記為 Completed。 這個結果是預期且刻意為之,而非錯誤,因為四次故障等於設定的容差,因此不會超過門檻。 換句話說,即使一個群組的 100% 成員都失敗了,它仍然可以是 Completed。

只有當該行為符合你對推出時的預期,才應使用此類門檻值。

謹慎選擇閾值

  • 絕對值 很容易理解,但在小群體中可能會產生反直覺的結果。 例如,在雙成員群組中允許 "2" 次失敗,表示即使兩名成員都未成功,該群組仍可完成 Completed。
  • 百分比值 在不同群組規模間調整得更好,因此建議大多數使用者使用。
  • 除非你確實有意讓系統呈現「即使成員發生故障也幾乎永遠不會失敗」的行為,否則請避免將 maxAllowedFailures 設為等於成員總數。 如果這種行為是刻意如此,100% 通常比固定數值更容易清楚地擴展。
  • 對於小團體要特別小心,因為單一失敗可能佔整個推廣的很大比例。
  • 隨著艦隊成長,重新評估門檻。 一個對五個叢集來說安全值,對 500 個叢集來說可能過於嚴格或過於寬鬆。

了解 FailureCount

這些 FailureCount 欄位是報告指標。 它們會計入失敗的成員更新。 它們不是比率或百分比,也不是設定的執法門檻。

  • UpdateRun.FailureCount:執行中所有階段及所有群組的失敗成員更新總數。
  • Stage.FailureCount:該階段內所有群組的失敗成員更新總數。
  • Group.FailureCount:該群組內失敗的成員更新總數。

在決定推廣結果是否可接受前,務必將這些計數連同會員等級的狀態、條件和失敗訊息一起檢視。

為什麼 FailureCount 可能超過 maxAllowedFailures

maxAllowedFailures 會控制 Fleet Manager 是否繼續排程新工作的決策。 它並不是最終報告失敗次數的硬性上限。

如果您使用maxConcurrency來允許平行成員更新,則在機群管理員觀察到已超過閾值並停止排程更多工作之前,可能會有多個成員幾乎同時失敗。 因此,它有可能且預期 FailureCount 會大於設定 maxAllowedFailures 值。

階段與群體失效限制的互動方式

群組層級與階段層級的maxAllowedFailures會分別獨立評估:

  • 每個團隊會根據自己的門檻追蹤自己的失敗次數。
  • 這些相同的群組失敗也會彙總到該階段的FailureCount。
  • 若超過任一門檻,Fleet Manager 將停止為該區段排程新工作。
  • 已開始的成員更新仍可能完成,因此在做出停止決定後,最終回報的FailureCount可能會增加。

階段層級的 maxAllowedFailures 作為該階段故障容忍度的整體上限。 即使個別團體允許較高的失敗次數,階段限制仍優先。 若某組的失敗次數超過自身 maxAllowedFailures,該組無論關卡設定如何,都會被標記為失敗。

範例 1:固定失效限制
Setting 價值
stage.maxAllowedFailures "5"
groupA.maxAllowedFailures "2"
groupB.maxAllowedFailures "3"

結果:A組容忍最多兩次失敗,B組容忍最多三次。 若全級故障總數超過五次,則該級即告失敗。

範例二:基於百分比的耐受性

A階段分為兩組19個群組:A組7個群組,B組12組。

Setting 價值 解析為
stage.maxAllowedFailures "25%" 5 (無條件進位)
groupA.maxAllowedFailures "25%" 2 (無條件進位)
groupB.maxAllowedFailures "25%" 3(12 × 25% = 3)

當您升級大型機群、預期會出現一些暫時性故障,或推出進度比嚴格的速錯機制更重要時,請使用較高或基於百分比的閾值。

對於攸關安全的推出、嚴格控制的實際執行階段,或任何在第一次失敗後就必須停止並檢查的情況,請使用0或非常小的值。

附註

請記住下列幾點:

  • 即使所有成員都失敗了,群組仍可能是 Completed。
  • Completed 這不代表成功。
  • FailureCount 當更新同時執行時,可能會超過 maxAllowedFailures 。
  • 絕對門檻能掩蓋小團體的完全失敗。
  • 以百分比為基礎的門檻通常更容易擴充。
  • 你必須透過檢查 FailureCount、成員國和失敗原因,來驗證部署結果。

下一步