利用 Azure DevOps 和 Helm 建立 Kubernetes 微服務的 CI/CD 管線

為微服務架構建立可靠的持續整合與持續交付(CI/CD)流程可能具有挑戰性。 每個團隊都必須快速且可靠地釋出服務,同時不干擾其他團隊或破壞整個應用程式的穩定。

本文描述了一個用於部署微服務至 Azure Kubernetes Service (AKS) 的 CI/CD 管線範例。 每個小組和專案都不同,因此請勿將本文視為一組硬式且快速的規則。 相反地,建議用它作為設計自己 CI/CD 流程的起點。

以下列表總結了 Kubernetes 託管微服務的 CI/CD 管線目標:

  • Teams 可以獨立開發和部署其服務。
  • 通過 CI 流程的程式碼變更會自動部署到類似生產環境。
  • 流程的每個階段都設有品質關卡。
  • 新版本的服務可以與舊版並存部署。

欲了解更多資訊,請參閱 微服務架構的 CI/CD。

假設

以下為例,以下是關於開發團隊與程式碼庫的一些假設:

  • 代碼倉庫是單一倉庫,資料夾按微服務組織排列。
  • 小組的分支策略是基於主幹式開發。
  • 小組會使用 發行分支 來管理發行。 系統會為每個微服務建立個別版本。
  • CI/CD 流程使用 Azure Pipelines來建置、測試並部署微服務至 AKS。
  • 所有微服務的容器映像檔都儲存在單一共享的 Azure Container Registry 實例中,每個微服務都有獨立的儲存庫。 使用 Container Registry Azure ABAC 儲存庫權限,將每個管線身份範圍限制為獨立的儲存庫,或在需要更強信任邊界時使用獨立登錄檔。
  • 小組會使用 Helm 圖表來封裝每個微服務。
  • 採用推送式部署模式,Azure Pipelines 及相關代理程式透過直接連接至 AKS 叢集來執行部署。

這些假定會推動 CI/CD 流程的許多特定細節。 不過,你可以將此處描述的基本方法應用於其他流程、工具和服務,例如 GitHub Actions、Jenkins 或 Docker Hub。

Alternatives

當您選擇 AKS 的 CI/CD 策略時,請考慮以下常見替代方案:

  • 你可以不使用 Helm 作為套件管理與部署工具,而是使用 Kustomize,這是一款原生於 Kubernetes 的配置管理工具,提供了無需範本的自訂與參數化應用程式設定方式。

  • 你可以用 GitHub 倉庫管理私有和公開的 Git 倉庫,使用 GitHub Actions 來管理 CI/CD 管線,而不必使用 Azure DevOps。

    GitHub Actions 提供與 AKS 的整合,提供入門工作流程,並支援 OpenID Connect(OIDC),以實現安全且無祕密的 Azure 認證。

  • 與其使用推送部署模型,不如考慮使用 GitOps(拉取部署模型)來大規模管理 Kubernetes 配置。 像 Flux 或 Argo CD 這樣的叢集內 Kubernetes 操作員會根據儲存在 Git 倉庫中的配置來同步叢集狀態。 GitOps 消除了管線對叢集直接存取的需求,減少攻擊面,並提供自我修復與漂移偵測功能。

    Tip

    在評估推送式與拉取式(GitOps)部署模型時,請考慮您的工作負載需求。 推送式部署提供確定性更新與直接管線控制,符合安全的部署實務。 拉取式(GitOps)部署提供一致性、可稽核性及自我修復能力,因此非常適合叢集需要在沒有管線直接存取叢集的情況下與期望狀態保持一致的環境。

驗證組建

假設一位開發者正在開發一個名為 Delivery Service 的微服務。 在開發新功能時,開發人員會將程式碼提交到功能分支。 依照慣例,功能分支會命名為 feature/*。

功能分支工作流程的示意圖。

圖中顯示兩條水平的 Git 分支線及其下方的建置管線。 頂端是主分支,以水平線表示。 8150 路線與主線分岔。 這個分支上有三個點,並統一標示為提交記錄。 三個提交中的每一個都有一個箭頭向下指向圖表底部的一個方框。 該框標示為 Build pipeline,並包含 pipeline 名稱 ci-delivery-validation。 三個虛線箭頭都匯聚到這個建置管線方塊,表示每次提交至 feature/8150 分支時,都會觸發 ci-delivery-validation 管線執行一次。

組建定義檔包含依分支名稱和來源路徑篩選的觸發程式:

trigger:
  batch: true
  branches:
    include:
    # for new release to production: release flow strategy
    - release/delivery/v*
    - refs/release/delivery/v*
    - main
    - feature/delivery/*
    - topic/delivery/*
  paths:
    include:
    - /src/shipping/delivery/

用這種方法,每個團隊都可以有自己的建構流程。 只有已簽入 /src/shipping/delivery 資料夾的程式碼才會觸發 Delivery Service 的建置。 將認可推送至符合篩選器的分支會觸發 CI 建置。 此時在工作流程中,CI 組建會執行一些最少的程式代碼驗證:

  1. 建置程序代碼。
  2. 執行單元測試。

目標是縮短建置時間,讓開發人員可以快速取得意見反應。 當功能準備好合併到主功能時,開發者會開啟 PR。 此作業會觸發另一個 CI 組建,以執行一些額外的檢查:

  1. 建置程序代碼。
  2. 執行單元測試。
  3. 對原始碼執行靜態應用程式安全測試(SAST)。
  4. 建置運行時間容器映像。
  5. 在映像上執行弱點掃描。

顯示建置管線中 ci-delivery-full 的示意圖。

圖中顯示兩條水平的 Git 分支線及其下方的建置管線。 頂端是主分支,以水平線表示。 在它下方,feature/8150 分支與其平行運行,並有三個點代表提交。 在特徵/8150 支線的右端,一條虛線箭頭連接主支線的一個點。 該點旁邊會以另一個標示為 PR 的圓點標記,表示目前已對 main 開啟拉取請求。 從主分支的 PR 點,一條虛線箭頭向下指向一個標示為 Build pipeline 的方框,該框內包含 pipeline 名稱 ci-delivery-full。 這行說明從功能分支開啟 pull request 到 main 會觸發 ci-delivery-full pipeline,執行擴展的 CI 檢查集合。

Note

在 Azure Repos(Azure DevOps 的其中一個服務)中,你可以定義保護分支的政策。 例如,該政策可能要求在合併到 main 分支之前,CI 建置必須成功,且須獲得核准者的核准。

完整 CI/CD 組建

當團隊準備部署新版本的 Delivery Service 時,發布管理器會從主分支建立分支,使用以下命名模式: release/<microservice name>/<semver>。 例如: release/delivery/v1.0.2 。

圖示顯示一個 release 分支觸發建置管線,接著是 release 管線。

建立此分支會觸發完整的 CI 建置,執行所有前述步驟及以下步驟:

  1. 將容器映像推送到容器登錄檔。 圖片會在分支名稱中標註版本號。
  2. 執行 helm package 以封裝服務的 Helm 圖表。 圖表也會以版本號碼標記。
  3. 將 Helm 套件推送至 Container Registry。

如果此建置成功,將透過使用 Azure Pipelines 發佈流程觸發部署(CD)程序。 此管線包含以下步驟:

  1. 將 Helm 圖表部署到 QA 環境。
  2. 核准者會在套件移至生產環境之前簽核。 請參閱 使用核准發行部署控制件。
  3. 在 Container Registry 中,為生產命名空間中的 Docker 映像檔重新加上標籤。 例如,如果目前的標籤是 myrepo.azurecr.io/delivery:v1.0.2,則生產標籤為 myrepo.azurecr.io/prod/delivery:v1.0.2。
  4. 將 Helm 圖表部署到生產環境。

即使在單一倉庫中,也要將這些任務範圍放在個別微服務上,讓團隊能獨立部署。 此流程包含一些手動步驟:批准 PR、建立發佈分支,以及核准部署到生產叢集。 工作負載團隊如果願意,可以自動化這些步驟。

隔離環境

您將服務部署到多個環境,包括開發、煙霧測試、整合測試、負載測試及生產環境。 這些環境需要某種程度的隔離。 在 Kubernetes 中,你可以選擇物理隔離與邏輯隔離。 物理隔離部署到不同的叢集。 邏輯隔離使用命名空間與策略。

我們的建議是建立一個專門的生產叢集,並搭配一個獨立的叢集來支援你的開發/測試環境。 使用邏輯隔離來分隔開發/測試叢集中的環境。 部署至開發/測試叢集的服務絕對不能存取保存商務數據的數據存放區。

要在叢集內強制隔離,請採取以下步驟:

身份驗證與授權

盡可能在所有可行情況下使用無需祕密驗證,無論是用來部署微服務的管線,還是這些管線所部署的工作負載:

  • 管線的工作負載身分同盟:對於 Azure Pipelines,請使用工作負載身分同盟服務連線向 Azure 進行驗證,而不需儲存長期有效的服務主體密碼。 對於 GitHub Actions,設定 OIDC 以達成相同的無秘密認證。
  • 適用於已部署工作負載的 Microsoft Entra 工作負載 ID:將管線所部署的微服務設定為使用 Microsoft Entra 工作負載 ID,而不是透過資訊清單、Helm 值或 Kubernetes Secret 插入認證。 Workload ID 會將 Kubernetes 服務帳號與 Microsoft Entra ID 建立同盟,讓 pod 不需要由管線管理任何祕密資料,即可向 Azure 服務(例如 Azure Key Vault、Container Registry 或 Azure SQL)進行驗證。

祕密管理

切勿直接將秘密(連線字串、API 金鑰、資料庫密碼)嵌入原始碼、Docker 檔案、Helm 值檔或管線定義中。 相反:

Important

避免將長期有效的憑證(用戶端秘密、憑證或密碼)儲存在管線變數、環境變數或 Kubernetes 秘密中。 相反地,請使用受管理身份與聯邦憑證,以降低憑證輪替負擔與攻擊面。

建置流程

可能的話,請將建置程式封裝到 Docker 容器中。 這種配置讓你能透過 Docker 建立程式碼工件,而不必在每台建置機上設定建置環境。 容器化建置流程透過新增建置代理簡化了 CI 管線的擴展。 此外,團隊中的任何開發者都可以透過執行建置容器來編譯程式碼。

透過使用 Docker 中的多階段建置,你可以在單一 Docker 檔案中定義建置環境和執行時映像檔。 例如,以下 Dockerfile 建置了一個 .NET 10 應用程式:

FROM mcr.microsoft.com/dotnet/aspnet:10.0 AS base
USER app
WORKDIR /app
EXPOSE 8080

FROM mcr.microsoft.com/dotnet/sdk:10.0 AS build
WORKDIR /src/Fabrikam.Workflow.Service

COPY Fabrikam.Workflow.Service/Fabrikam.Workflow.Service.csproj .
RUN dotnet restore Fabrikam.Workflow.Service.csproj

COPY Fabrikam.Workflow.Service/. .
RUN dotnet build Fabrikam.Workflow.Service.csproj -c Release -o /app/build --no-restore

FROM build AS testrunner
WORKDIR /src/tests

COPY Fabrikam.Workflow.Service.Tests/*.csproj .
RUN dotnet restore Fabrikam.Workflow.Service.Tests.csproj

COPY Fabrikam.Workflow.Service.Tests/. .
ENTRYPOINT ["dotnet", "test", "--logger:trx"]

FROM build AS publish
RUN dotnet publish Fabrikam.Workflow.Service.csproj -c Release -o /app/publish

FROM base AS final
WORKDIR /app
COPY --from=publish /app/publish .
ENTRYPOINT ["dotnet", "Fabrikam.Workflow.Service.dll"]

此 Dockerfile 會定義數個建置階段。 請注意,該base階段名稱使用 .NET 10 ASP.NET 執行時映像,而階段名稱build則使用完整的 .NET 10 SDK。 該build階段建構 .NET 專案。 但最終的執行階段容器是從 base 建置的,它只包含執行階段,而且顯著小於完整的 SDK 映像。

Important

自 .NET 8 起,官方的 Linux 型 .NET 容器映像包含一個名為 app 的非 root 使用者。 USER app Dockerfile 中的指令以非特權使用者身份執行容器,遵循最小特權原則。 ASP.NET Core 容器映像檔也將預設的監聽埠從 80 改為 8080。

建置測試執行器

另一個最佳做法是在容器中執行單元測試。 例如,以下程式碼展示了建置測試執行器的 Dockerfile 部分內容:

FROM build AS testrunner
WORKDIR /src/tests

COPY Fabrikam.Workflow.Service.Tests/*.csproj .
RUN dotnet restore Fabrikam.Workflow.Service.Tests.csproj

COPY Fabrikam.Workflow.Service.Tests/. .
ENTRYPOINT ["dotnet", "test", "--logger:trx"]

開發者可以使用這個 Dockerfile 在本地執行測試:

docker build . -t delivery-test:1 --target=testrunner
docker run delivery-test:1

CI 管線也應該在組建驗證步驟中執行測試。

這個檔案使用 Docker ENTRYPOINT 指令,而非 Docker RUN 指令來執行測試。

  • 如果您使用 RUN 命令,則每次建置映射時都會執行測試。 如果你使用 ENTRYPOINT,測試是自願參與的。 它們只會在您明確將 testrunner 階段作為目標時執行。
  • 失敗的測試不會造成 Docker build 命令失敗。 這種行為讓你能區分容器建置失敗與測試失敗。
  • 測試結果可以儲存到掛接的磁碟區。

容器最佳做法

可以考慮的其他容器最佳做法有:

  • 定義全組織範圍內的容器標籤、版本控制及資源命名慣例(例如,pod 和服務)。 使用這些慣例能讓診斷部署問題變得更容易。
  • 在開發與測試週期中,CI/CD 流程會建立許多容器映像檔。 只有部分圖片是候選發行,且只有部分候選作品能升級到製作階段。 要有明確的版本管理策略,這樣你就能知道哪些映像檔已經部署到生產環境,必要時也能輕鬆回滾回舊版本。
  • 一律部署特定的容器版本標籤,而不是 latest。
  • 在容器登錄庫中使用命名 空間 ,將核准生產的映像與仍在測試中的映像區分出來。 在您準備好將映像部署到生產環境之前,請勿將映像移至生產命名空間。 將此做法與容器映像的語意版本管理結合,可以降低意外部署未經批准版本的機率。
  • 以非特權使用者的身分執行容器,遵循最小權限原則。 在 Kubernetes 中,使用 Pod Security Standards 搭配 Pod Security admission (取代了 Kubernetes 1.25 中已棄用的 Pod Security Policies)來執行限制,例如阻止容器以 root 身份執行。 使用 restricted 該設定檔來處理生產工作負載。
  • 使用極簡或無發行版的基礎映像(例如基於 Alpine 的映像檔、Azure Linux 基礎或無發行版的映像檔,或雕刻化的 .NET 映像檔)來降低容器映像的攻擊面。
  • 針對 Premium 登錄,設定 Container Registry 保留原則,以刪除未加標記的資訊清單。 要依年齡或名稱清除標籤,請排程一個執行 acr 清除的容器登錄檔任務。 保留作用中的部署和回復計畫所參考的映像。

Helm 圖表

請考慮使用 Helm 來管理建置和部署服務。 以下的 Helm 功能支援 CI/CD 管線:

  • 單一微服務通常由多個 Kubernetes 物件定義。 Helm 使這些物件能夠被打包成單一的 Helm 圖表。
  • 你可以用單一 Helm 指令部署圖表,而不是一連串 kubectl 指令。
  • 圖表已明確設定版本。 使用 Helm 來發行版本、檢視版本,以及復原至舊版。 Helm 使用語意版本管理來追蹤更新與修訂。
  • Helm 圖表使用範本來避免在許多檔案之間複製資訊,例如標籤和選取器。
  • Helm 可以管理圖表之間的相依性。
  • 你可以將圖表儲存在 Helm 的儲存庫中,例如容器登錄檔,並整合進建置流程中。

欲了解更多資訊,請參閱 「使用容器登錄檔作為你的應用圖表的 Helm 儲存庫」。

單一微服務可能需要多個 Kubernetes 設定檔。 要更新服務,你可能需要編輯所有這些檔案,以更新選擇器、標籤和圖片標籤。 Helm 將這些檔案視為一個稱為 圖表 的單一套件,並透過變數輕鬆更新 YAML 檔案。 Helm 使用基於 Go 模板的範本語言,讓你能撰寫參數化的 YAML 設定檔。

例如,以下是定義部署的 YAML 檔案的一部分:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "package.fullname" . | replace "." "" }}
  labels:
    app.kubernetes.io/name: {{ include "package.name" . }}
    app.kubernetes.io/instance: {{ .Release.Name }}
  annotations:
    kubernetes.io/change-cause: {{ .Values.reason }}

...

spec:
  template:
    spec:
      containers:
      - name: &package-container_name fabrikam-package
        image: {{ .Values.dockerregistry }}/{{ .Values.image.repository }}:{{ .Values.image.tag }}
        imagePullPolicy: {{ .Values.image.pullPolicy }}
        env:
        - name: LOG_LEVEL
          value: {{ .Values.log.level }}

你可以看到部署名稱、標籤和容器規範都使用範本參數,這些參數是在部署時提供的。 例如,從命令列:

helm install <release-name> oci://<registry>/<repository>/<package-chart-name> --version <desiredVersion> \
     --set image.tag=0.1.0 \
     --set image.repository=package \
     --set dockerregistry=$ACR_SERVER \
     --namespace backend

雖然 CI/CD 管線可以直接將圖表安裝到 Kubernetes,但請建立圖表歸檔(.tgz 檔案),並將圖表推送到 Helm 儲存庫,如容器登錄檔。 欲了解更多資訊,請參閱「封裝及部署 Helm 圖表(HelmDeploy 工作)」。

Revisions

Helm 圖表總是有一個版本號,必須使用 語意版本控制。 圖表也可以有 appVersion。 這個欄位是可選的,不需要和圖表版本有關。 有些團隊可能想將應用程式版本與圖表更新分開。 更簡單的做法是使用一個版本號,這樣圖表版本和應用程式版本就有 1:1 的比例。 如此一來,您可以為每個版本儲存一張圖表,並輕鬆地部署所需的版本:

helm install <package-chart-name> --version <desiredVersion>

另一個最佳做法是在部署範本中提供變更原因批注:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "delivery.fullname" . | replace "." "" }}
  labels:
     ...
  annotations:
    kubernetes.io/change-cause: {{ .Values.reason }}

此註解可透過指令 kubectl rollout history 查看每個修訂版本的變更-原因欄位。 在前述範例中,變更原因以 Helm 圖表參數形式提供。

kubectl rollout history deployments/delivery-v010 -n backend
deployment.apps/delivery-v010
REVISION  CHANGE-CAUSE
1         Initial deployment

您也可以使用 helm list 命令來檢視修訂歷程記錄:

helm list -n backend
NAME              NAMESPACE   REVISION    UPDATED                                 STATUS      CHART               APP VERSION
delivery-v0.1.0   backend     1           2024-04-07 00:25:30.000000 +0000 UTC    deployed    delivery-v0.1.0     v0.1.0

Azure Pipelines

Azure Pipelines 是 Azure DevOps 中的一項服務,有兩種管線類型:建構管線與發布管線。 建置管線會執行 CI 程式,並建立組建成品。 對於 Kubernetes 上的微服務架構,這些成品是定義每個微服務的容器映像和 Helm 圖表。 發佈管線執行將微服務部署到叢集的 CD 程序。

根據本文稍早所述的 CI 流程,組建管線可能包含下列工作:

  1. 利用任務 Docker 來建立測試執行器容器。
  2. 使用 Docker 任務,對測試執行器容器叫用 docker run 來執行測試。
  3. 請使用 PublishTestResults 任務來發布測試結果。 欲了解更多資訊,請參閱「建構映像」。
  4. 對原始碼執行 SAST。
  5. 使用本機 docker build 和 Docker 工作,或使用容器登錄建置和 AzureCLI 工作,來建置執行階段容器。 例如,使用Microsoft SBOM工具產生該映像的軟體物料清單(SBOM),並將其作為與影像摘要相關聯的管線產物發佈,或將其附加到影像容器登錄檔中。
  6. 在圖片發布前,先執行容器映像漏洞掃描(例如使用 Microsoft Defender for Containers 或非 Microsoft 工具如 Trivy)來偵測已知漏洞。
  7. 透過使用 Docker or AzureCLI 任務將容器映像推送到容器登錄檔(或其他容器登錄檔)。
  8. 請在 immutable digest 推送的圖片上簽名,以確保其完整性與真實性。 對於 Azure Pipelines,請遵循符號簽署指引。
  9. 使用 HelmDeploy 任務來封裝 Helm 圖表。
  10. 透過任務 HelmDeploy 將 Helm 套件推送到容器登錄檔(或其他 Helm 儲存庫)。

CI 管線的輸出是可用於生產環境的容器映像,以及用於微服務的更新版 Helm 圖表。 此時,發行管線可以接管。 每個微服務都有獨特的發佈流程。 發行管線已設定為將觸發來源設為發佈成果的 CI 管線。 此管線讓您能獨立部署每個微服務。 發行管線會執行下列步驟:

  1. 將 Helm 圖表部署至開發/QA/預備環境。 你可以用 helm upgrade 帶有 --install 旗標的指令來支援第一次安裝及後續升級。
  2. 等候審批者核准或拒絕部署。
  3. 重新標籤容器映像檔以釋放。
  4. 將發行標記推送至容器登錄。
  5. 在生產叢集中部署 Helm 圖表。 使用 Ratify 搭配 Azure 原則 在准入期間驗證映像簽章,並另行設定允許映像原則,將映像限制為只能來自受信任的容器登錄。

Note

若要讓 AKS 無需使用個別的映像提取祕密,即可從容器登錄提取映像,請針對使用整個登錄範圍 RBAC 的登錄使用 AKS-to-Container-Registry integration。 對於啟用 ABAC 的登錄檔,這種整合不被支援。 改為將 Container Registry Repository Reader 角色指派給叢集的 kubelet 受控識別。

如需建立發行管線的詳細資訊,請參閱 發行管線、草稿版本和發行選項。

下圖顯示本文所述的端對端 CI/CD 程式:

端對端 CI/CD 管線示意圖。

GitHub Actions 替代方案

如果你的團隊使用 GitHub 進行原始碼控制,GitHub Actions 提供相當的 CI/CD 平台。 除了前面提到的入門工作流程和 OIDC 認證外,當你針對 AKS 時,還要考慮這些 GitHub 專屬的功能:

  • 環境與防護規則。 如果你的 GitHub 計畫和倉庫可視性支援這些功能,建議使用 GitHub 環境,並配備必要的審查器、等待計時器和部署分支來實作批准門。
  • 容器掃描。 直接在工作流程中使用 GitHub Actions Marketplace 的 Trivy、適用於 DevOps 的 Microsoft Defender 或其他類似工具的 action,進行容器映像掃描。

可檢視性和監視

在整個 CI/CD 管線與執行環境中實作可觀察性:

  • 管線監控。 追蹤建置時間、測試通過率、部署頻率及失敗率。 Azure DevOps 提供內建的分析功能。 GitHub Actions 可以使用非 Microsoft 的儀表板。
  • 執行時監控。 使用 Azure 監視器 managed service for Prometheus 同 Azure 受控 Grafana 來監控 AKS 叢集健康同工作負載指標。
  • 應用遙測。 用 Azure 監視器 Application Insights 來強化你的微服務,進行分散式追蹤、請求記錄及相依性追蹤。
  • 警報。 設定部署失敗、Pod 重新啟動、錯誤率偏高及資源飽和的警示,以便快速回應事件。

Well-Architected 框架對齊

當您為在 Kubernetes 上執行的微服務設計 CI/CD 管線時,請考量 Azure 架構完善架構的支柱原則:

支柱 Considerations
Reliability 自動回滾策略、部署健康探測、藍綠或金絲雀釋放策略、艙體中斷預算。
Security 無密鑰驗證(工作負載身分識別、OIDC)、映像檔簽章、供應鏈安全、最小權限 RBAC、網路原則。
成本優化 調整建置代理大小、使用臨時自架執行器、實作容器登錄檔映像保留政策,以及僅在容忍中斷的非生產工作負載中使用點節點池。
卓越營運 GitOps 用於宣告式部署、基礎設施即程式碼、管線即程式碼(YAML)、可觀察性,以及執行簿自動化。
效能效率 平行管線階段、建置快取(Docker 層快取、相依性快取)、水平 Pod 自動擴展。

貢獻者們

本文由 Microsoft 維護。 以下貢獻者撰寫了這篇文章。

主要作者:

  • 高雷 |首席解決方案工程師

若要查看非公開的 LinkedIn 個人檔案,請登入 LinkedIn。

下一步