教學課程 2-4:在 Azure Enclave 中部署 Azure Kubernetes Service(AKS)工作負載

本教學會引導你如何在 Azure Enclave 中部署私人 Azure Kubernetes Service (AKS) 叢集。 你可以建立一個完全私有的 AKS 叢集,採用客戶管理的加密、網路整合和安全的存取模式。

在這個教學中,你會學到如何:

  • 啟用 private AKS 所需的 Azure 功能
  • 驗證 AKS 所需資源
  • 部署私人 AKS 叢集
  • 配置客戶管理的金鑰加密
  • 建立 AKS 連接的社群端點
  • 將多個資源群組關聯到 AKS 工作負載
  • 存取 AKS 叢集並驗證

先決條件

  • 完成教學 2-3:部署 Azure 虛擬桌面 工作負載
  • 包含節點、API 伺服器及私人端點子網的 AKS 隔離區
  • Tutorial 2-2 中常見的依賴關係(金鑰保存庫、managed identity、disk encryption set):Create Azure Enclave 環境
  • AKS 的私人 DNS 區域已部署
  • AKS 工作負載資源組的貢獻者角色
  • Azure Kubernetes Service Contributor 訂用帳戶上的角色
  • 已安裝 Azure CLI 或 Azure PowerShell,以進行進階作業

Important

此教學符合 Private AKS Cluster 範本的行為,並需使用教學 2-2 中 AVE AKS Enclave 部署所建立的資源。

開始之前

了解 Azure Enclave 中的 AKS

AKS in Azure Enclave 提供:

  • 完全私有叢集:僅可透過私有端點存取的 API 伺服器
  • 網路隔離:所有流量皆維持在隔離區邊界內
  • 客戶管理加密:控制平面與資料平面皆以 CMK 加密
  • 確保工作負載邊界:Kubernetes 資源包含在記憶體保護區安全性原則中

資源命名慣例

這個教學會使用範例名稱。 使用貴組織的命名慣例:

  • 記憶體保護區:aks-enclave
  • 工作量: aks-workload
  • 資源群組:rg-aks-cluster
  • AKS 群組: aks-prod-01

啟用 Azure 所需的功能

Azure Enclave 中的 AKS 需要在您的訂閱中啟用特定的 Azure 功能。

啟用 EncryptionAtHost 功能

此功能使 AKS 節點在虛擬機主機層級實現加密。

# Register the feature
az feature register --namespace Microsoft.Compute --name EncryptionAtHost

# Check registration status (may take 10-15 minutes)
az feature show --namespace Microsoft.Compute --name EncryptionAtHost

# Once registered, refresh the provider
az provider register --namespace Microsoft.Compute

啟用 API 伺服器虛擬網路整合(預覽)

此功能允許 AKS API 伺服器直接整合至您的虛擬網路中。

# Register the feature
az feature register --namespace Microsoft.ContainerService --name EnableAPIServerVnetIntegrationPreview

# Check registration status
az feature show --namespace Microsoft.ContainerService --name EnableAPIServerVnetIntegrationPreview

# Once registered, refresh the provider
az provider register --namespace Microsoft.ContainerService

Important

等待兩個功能都顯示 "state": "Registered" 後,再繼續。 報名通常需時10至15分鐘。

準備 SSH 金鑰(可選)

Note

用於 AKS 節點存取的 SSH 金鑰驗證功能正在被棄用。 此步驟目前為必要,但未來範本版本將成為可選步驟。 如果你不需要直接節點存取,範本更新後可以跳過這一段。

產生 SSH 金鑰對

# Create .ssh directory if it doesn't exist
$sshDir = "$env:USERPROFILE\.ssh"
if (-not (Test-Path $sshDir)) {
    New-Item -ItemType Directory -Path $sshDir
}

# Generate SSH key pair
ssh-keygen -t rsa -b 4096 -f "$sshDir\aks-nodes" -N '""'

# Display the public key
Get-Content "$sshDir\aks-nodes.pub"

將 SSH 金鑰存入 金鑰保存庫

# Read the SSH public key
$sshPublicKey = Get-Content "$env:USERPROFILE\.ssh\aks-nodes.pub" -Raw

# Store in Key Vault as a secret
az keyvault secret set `
    --vault-name "kv-ave-shared-<uniqueid>" `
    --name "aks-ssh-public-key" `
    --value $sshPublicKey

部署私有 AKS 叢集

現在部署 AKS 叢集,並全面加密並監控。

使用服務目錄範本

  1. 在你的 AKS 工作負載中,選擇 + Add an Azure Service。
  2. 搜尋並選擇 Private AKS Cluster。
  3. 設定部署:

「基本資料」分頁

  • AKS 群組名稱: aks-prod-01
  • Kubernetes 版本:選擇最新的穩定版本(例如, 1.32)

監測

  • Log Analytics 工作區名稱:選擇您的環境或社群記錄目的地。

Encryption

  • 磁碟加密組名稱:輸入你在 教學 2-2 中使用的名稱。
  • 加密金鑰名稱:輸入你的金鑰庫金鑰名稱。
  • 金鑰保存庫:選取具有該金鑰名稱的金鑰保存庫。

存取

  • AKS 身份名稱:輸入你在 教學 2-2 中使用的名字。
  • AKS 身份資源群組名稱:更新資源群組名稱以符合你身份所在的位置。

網路

  • AKS 子網名稱:輸入您的 AKS 子網名稱
  • 代理人池子網名稱:輸入您的代理人池子網名稱
  • 服務流量的CIDR: 172.16.0.0/16
  • Kubernetes DNS 服務的 IP 位址: 172.16.0.10

子網配置:

  • 節點子網路:從您的記憶體保護區中選取 aksSubnet
  • API 伺服器子網:從你的 enclave 中選擇agentSubnet
  • 私人端點子網路:從您的記憶體保護區中選取 AzureVirtualEnclaveSubnet

節點池

選擇 Next 跳過此分頁以瀏覽此教學。

標記

  • 環境: Production
  • 工作量: AKS
  • ManagedBy: Azure Enclave
  1. 選擇 評論 + 創建。
  2. 仔細檢查所有設定。
  3. 選取 ,創建。

Note

AKS 叢集會自動建立一個受管理的資源群組。

建立 AKS 連接的社群端點

AKS 需要對多個 Azure 服務進行外站連線。 為這些需求建立社群端點。

Note

如果你在教學 2-1 中建立了 AKS 社群端點,請確認它們包含所有必要的 FQDN。

配置社群端點

  1. 前往你的社群(例如:cmt-fabrikam)。

  2. 選擇 Community endpoints>+ 建立或編輯現有 ce-aks-services。

  3. 確保這些規則的存在:

    規則 1:Microsoft 容器登錄檔

    • 名稱:mcr
    • 目的地:mcr.microsoft.com,*.data.mcr.microsoft.com
    • 通訊協定:HTTPS
    • 端口:443

    規則二:AKS 管理

    • 名稱:aks-management
    • 目的地:*.hcp.<region>.azmk8s.io,<region>.dp.kubernetesconfiguration.azure.com
    • 通訊協定:HTTPS
    • 端口:443

    規則 3:Azure 管理

    • 名稱:azure-management
    • 目的地:management.azure.com,login.microsoftonline.com
    • 通訊協定:HTTPS
    • 端口:443

    規則四:套件儲存庫

    • 名稱:packages
    • 目的地:packages.microsoft.com,acs-mirror.azureedge.net,azure.archive.ubuntu.com
    • 通訊協定:HTTPS
    • 端口:443

    規則 5:Azure 監視器(若啟用)

    • 名稱:monitoring
    • 目的地:*.ods.opinsights.azure.com,*.oms.opinsights.azure.com,dc.services.visualstudio.com
    • 通訊協定:HTTPS
    • 端口:443
  4. 選擇 評論 + 建立 ,然後選擇 建立 或 儲存。

設定 NSG 輸出規則

在 NSG 中新增出站安全性規則,以允許 AKS 流量。

  1. 進入 網路安全群組>nsg-aks-nodes。
  2. 選擇 出站安全規則>+新增。
  3. 新增 HTTPS 外站規則:
    • 資料來源: VirtualNetwork
    • 目的地:Internet
    • 目的地港口: 443
    • 通訊協定:TCP
    • 動作場面: Allow
    • 優先事項: 1000
    • 名稱:Allow_HTTPS_Outbound

將 AKS 資源群組與工作負載關聯

AKS 為叢集基礎設施建立一個受管理資源群組(MRG)。 將使用者資源群組和 MRG 都關聯到你的工作負載。

使用 Azure 入口網站

  1. 在 Azure 入口網站中導覽到你的 Azure Enclave 服務。
  2. 選擇您的 社群 (例如, cmt-fabrikam)。
  3. 選取 Enclaves,然後開啟您的 AKS enclave(例如 ve-aks)。
  4. 選擇 工作負載 並開啟你的 AKS 工作負載 (例如, wl-aks)。
  5. 在工作負載總覽中,選擇 屬性 或 連結資源群組。
  6. 選擇 + 新增資源群組。
  7. 新增使用者資源群組:
    • 選擇 訂閱:您的訂閱
    • 選擇 資源組別: rg-aks-cluster
    • 選取 [新增]。
  8. 再次選擇 + 新增資源群組 。
  9. 新增 AKS 管理資源群組:
    • 受控 RG 名稱遵循以下模式:MC_rg-aks-cluster_aks-prod-01_<region>
    • 選擇 訂閱:您的訂閱
    • 選擇 資源群組:AKS 管理資源群組
    • 選取 [新增]。
  10. 確認兩個資源群組都出現在工作負載的連結資源群組清單中。

Tip

要找到 AKS 管理的資源群組名稱,請在入口網站中前往你的 AKS 叢集,並在概覽頁面上查看 節點資源群組 屬性。

存取 AKS 叢集

透過管理員虛擬機或 enclave 內的 Azure Bastion 存取私有 AKS 叢集。

連接到管理員虛擬機

  1. 透過 Azure Bastion 或 RDP 連接到你的管理員虛擬機。
  2. 確保管理員虛擬機安裝了 Azure CLI。
  3. 登入 Azure:
az login

取得 AKS 認證

# Get cluster credentials
az aks get-credentials `
    --resource-group rg-aks-cluster `
    --name aks-prod-01 `
    --admin

# Verify connection
kubectl get nodes

預期輸出會顯示處於 Ready 狀態的節點:

NAME                                STATUS   ROLES   AGE   VERSION
aks-systempool-12345678-vmss000000  Ready    agent   5m    v1.29.5
aks-systempool-12345678-vmss000001  Ready    agent   5m    v1.29.5
aks-systempool-12345678-vmss000002  Ready    agent   5m    v1.29.5

部署測試工作負載

部署範例應用程式來驗證叢集。

建立命名空間

kubectl create namespace test-app

部署範例應用程式

# Save as test-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  namespace: test-app
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: mcr.microsoft.com/oss/nginx/nginx:1.25.3
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
  namespace: test-app
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
  - port: 80
    targetPort: 80
# Apply the deployment
kubectl apply -f test-deployment.yaml

# Check deployment status
kubectl get deployments -n test-app
kubectl get pods -n test-app
kubectl get services -n test-app

驗證部署

對你的 AKS 叢集進行全面驗證。

檢查叢集健全狀態

# Check node status
kubectl get nodes -o wide

# Check system pods
kubectl get pods -n kube-system

# Check node conditions
kubectl describe nodes | grep -A 5 Conditions

驗證加密

# Check if encryption at host is enabled
az aks show --resource-group rg-aks-cluster --name aks-prod-01 --query "securityProfile.enableEncryptionAtHost"

# Check disk encryption set
az aks show --resource-group rg-aks-cluster --name aks-prod-01 --query "diskEncryptionSetId"

驗證網路連線能力

# Test DNS resolution
kubectl run -it --rm debug --image=mcr.microsoft.com/dotnet/runtime-deps:6.0 --restart=Never -- nslookup kubernetes.default

# Test internet connectivity through community endpoints
kubectl run -it --rm debug --image=curlimages/curl --restart=Never -- curl -I https://mcr.microsoft.com

# Check service connectivity
kubectl get services -A

檢查監控和記錄

# Check if Container Insights is enabled
az aks show --resource-group rg-aks-cluster --name aks-prod-01 --query "addonProfiles.omsagent.enabled"

# Query logs in Log Analytics
az monitor log-analytics query `
    --workspace <workspace-id> `
    --analytics-query "ContainerLog | where TimeGenerated > ago(1h) | limit 10"

驗證 Azure 原則 合規性

# Check Azure Policy add-on status
kubectl get pods -n kube-system | grep azure-policy

# View policy violations (if any)
kubectl get constrainttemplates
kubectl get constraints

為其他使用者設定 kubectl 存取權限

授權其他使用者存取 AKS 叢集。

使用 Azure RBAC

# Assign Azure Kubernetes Service Cluster User Role
az role assignment create `
    --assignee user@contoso.com `
    --role "Azure Kubernetes Service Cluster User Role" `
    --scope "/subscriptions/<subscription-id>/resourceGroups/rg-aks-cluster/providers/Microsoft.ContainerService/managedClusters/aks-prod-01"

# For admin access
az role assignment create `
    --assignee user@contoso.com `
    --role "Azure Kubernetes Service Cluster Admin Role" `
    --scope "/subscriptions/<subscription-id>/resourceGroups/rg-aks-cluster/providers/Microsoft.ContainerService/managedClusters/aks-prod-01"

使用 Kubernetes RBAC

# Create role binding for namespace access
kubectl create rolebinding user-viewer `
    --clusterrole=view `
    --user=user@contoso.com `
    --namespace=test-app

針對常見問題進行疑難排解

叢集建立失敗

症狀:AKS 叢集部署失敗

解決方案:

  • 驗證功能旗標註冊如下: EncryptionAtHost, EnableAPIServerVnetIntegrationPreview
  • 檢查子網路大小是否足以因應節點數和 pod 密度
  • 確認磁碟加密設定和管理身份是否具備適當的權限
  • 檢視活動日誌以確認特定錯誤訊息

節點尚未準備好

症狀:節點顯示 NotReady 狀態

解決方案:

  • 檢查節點子網是否具備連線至必要端點的對外連線能力
  • 驗證社群端點是否包含所有必要的 AKS FQDN
  • 請查看 NSG 規則是否允許 443 埠口的外發流量
  • 檢視節點日誌: kubectl describe node <node-name>

Pods 無法擷取映像檔

症狀:Pod 卡在 ImagePullBackOff 狀態

解決方案:

  • 驗證社群端點包含 mcr.microsoft.com 及 *.data.mcr.microsoft.com
  • 檢查 NSG 是否允許輸出 HTTPS(埠 443)
  • 確保 DNS 解析正常:在 Pod 中執行 nslookup mcr.microsoft.com
  • 如果使用私有登錄檔,請檢查映像檔拉取密鑰

無法連接 API 伺服器

症狀: kubectl 指令因連線逾時而失敗

解決方案:

  • 確認你使用的是管理員虛擬機或資源,並且有 enclave 連線
  • 檢查私人 DNS 區域是否連結到虛擬網路
  • 驗證 API 伺服器子網路設定
  • 測試 DNS 解析:nslookup <cluster-fqdn>

監控無法運作

症狀:Azure 監視器 中沒有日誌或指標

解決方案:

  • 確認已啟用 Container Insights 附加元件
  • 檢查社群端點是否包含監控 FQDN
  • Verify Log Analytics 工作區可從叢集存取
  • 檢查 omsagent Pod 是否正在執行:kubectl get pods -n kube-system | grep omsagent

清理資源

為避免持續收費,刪除不再需要的資源。

刪除 AKS 叢集

# Delete AKS cluster (also deletes managed resource group)
az aks delete --resource-group rg-aks-cluster --name aks-prod-01 --yes --no-wait

# Delete user resource group
az group delete --name rg-aks-cluster --yes --no-wait

# Delete infrastructure resource group
az group delete --name rg-aks-infrastructure --yes --no-wait

Warning

刪除 AKS 叢集會永久移除所有工作負載和資料。 確保有備份以備不時。

下一步

你完成了關於在 Azure Enclave 中部署 Azure 虛擬桌面 和 AKS 工作負載的教學系列!