本教學會引導你如何在 Azure Enclave 中部署私人 Azure Kubernetes Service (AKS) 叢集。 你可以建立一個完全私有的 AKS 叢集,採用客戶管理的加密、網路整合和安全的存取模式。
在這個教學中,你會學到如何:
- 啟用 private AKS 所需的 Azure 功能
- 驗證 AKS 所需資源
- 部署私人 AKS 叢集
- 配置客戶管理的金鑰加密
- 建立 AKS 連接的社群端點
- 將多個資源群組關聯到 AKS 工作負載
- 存取 AKS 叢集並驗證
先決條件
- 完成教學 2-3:部署 Azure 虛擬桌面 工作負載
- 包含節點、API 伺服器及私人端點子網的 AKS 隔離區
- Tutorial 2-2 中常見的依賴關係(金鑰保存庫、managed identity、disk encryption set):Create Azure Enclave 環境
- AKS 的私人 DNS 區域已部署
- AKS 工作負載資源組的貢獻者角色
- Azure Kubernetes Service Contributor 訂用帳戶上的角色
- 已安裝 Azure CLI 或 Azure PowerShell,以進行進階作業
Important
此教學符合 Private AKS Cluster 範本的行為,並需使用教學 2-2 中 AVE AKS Enclave 部署所建立的資源。
開始之前
了解 Azure Enclave 中的 AKS
AKS in Azure Enclave 提供:
- 完全私有叢集:僅可透過私有端點存取的 API 伺服器
- 網路隔離:所有流量皆維持在隔離區邊界內
- 客戶管理加密:控制平面與資料平面皆以 CMK 加密
- 確保工作負載邊界:Kubernetes 資源包含在記憶體保護區安全性原則中
資源命名慣例
這個教學會使用範例名稱。 使用貴組織的命名慣例:
- 記憶體保護區:
aks-enclave - 工作量:
aks-workload - 資源群組:
rg-aks-cluster - AKS 群組:
aks-prod-01
啟用 Azure 所需的功能
Azure Enclave 中的 AKS 需要在您的訂閱中啟用特定的 Azure 功能。
啟用 EncryptionAtHost 功能
此功能使 AKS 節點在虛擬機主機層級實現加密。
# Register the feature
az feature register --namespace Microsoft.Compute --name EncryptionAtHost
# Check registration status (may take 10-15 minutes)
az feature show --namespace Microsoft.Compute --name EncryptionAtHost
# Once registered, refresh the provider
az provider register --namespace Microsoft.Compute
啟用 API 伺服器虛擬網路整合(預覽)
此功能允許 AKS API 伺服器直接整合至您的虛擬網路中。
# Register the feature
az feature register --namespace Microsoft.ContainerService --name EnableAPIServerVnetIntegrationPreview
# Check registration status
az feature show --namespace Microsoft.ContainerService --name EnableAPIServerVnetIntegrationPreview
# Once registered, refresh the provider
az provider register --namespace Microsoft.ContainerService
Important
等待兩個功能都顯示 "state": "Registered" 後,再繼續。 報名通常需時10至15分鐘。
準備 SSH 金鑰(可選)
Note
用於 AKS 節點存取的 SSH 金鑰驗證功能正在被棄用。 此步驟目前為必要,但未來範本版本將成為可選步驟。 如果你不需要直接節點存取,範本更新後可以跳過這一段。
產生 SSH 金鑰對
# Create .ssh directory if it doesn't exist
$sshDir = "$env:USERPROFILE\.ssh"
if (-not (Test-Path $sshDir)) {
New-Item -ItemType Directory -Path $sshDir
}
# Generate SSH key pair
ssh-keygen -t rsa -b 4096 -f "$sshDir\aks-nodes" -N '""'
# Display the public key
Get-Content "$sshDir\aks-nodes.pub"
將 SSH 金鑰存入 金鑰保存庫
# Read the SSH public key
$sshPublicKey = Get-Content "$env:USERPROFILE\.ssh\aks-nodes.pub" -Raw
# Store in Key Vault as a secret
az keyvault secret set `
--vault-name "kv-ave-shared-<uniqueid>" `
--name "aks-ssh-public-key" `
--value $sshPublicKey
部署私有 AKS 叢集
現在部署 AKS 叢集,並全面加密並監控。
使用服務目錄範本
- 在你的 AKS 工作負載中,選擇 + Add an Azure Service。
- 搜尋並選擇 Private AKS Cluster。
- 設定部署:
「基本資料」分頁
-
AKS 群組名稱:
aks-prod-01 -
Kubernetes 版本:選擇最新的穩定版本(例如,
1.32)
監測
- Log Analytics 工作區名稱:選擇您的環境或社群記錄目的地。
Encryption
- 磁碟加密組名稱:輸入你在 教學 2-2 中使用的名稱。
- 加密金鑰名稱:輸入你的金鑰庫金鑰名稱。
- 金鑰保存庫:選取具有該金鑰名稱的金鑰保存庫。
存取
- AKS 身份名稱:輸入你在 教學 2-2 中使用的名字。
- AKS 身份資源群組名稱:更新資源群組名稱以符合你身份所在的位置。
網路
- AKS 子網名稱:輸入您的 AKS 子網名稱
- 代理人池子網名稱:輸入您的代理人池子網名稱
-
服務流量的CIDR:
172.16.0.0/16 -
Kubernetes DNS 服務的 IP 位址:
172.16.0.10
子網配置:
-
節點子網路:從您的記憶體保護區中選取
aksSubnet -
API 伺服器子網:從你的 enclave 中選擇
agentSubnet -
私人端點子網路:從您的記憶體保護區中選取
AzureVirtualEnclaveSubnet
節點池
選擇 Next 跳過此分頁以瀏覽此教學。
標記
-
環境:
Production -
工作量:
AKS -
ManagedBy:
Azure Enclave
- 選擇 評論 + 創建。
- 仔細檢查所有設定。
- 選取 ,創建。
Note
AKS 叢集會自動建立一個受管理的資源群組。
建立 AKS 連接的社群端點
AKS 需要對多個 Azure 服務進行外站連線。 為這些需求建立社群端點。
Note
如果你在教學 2-1 中建立了 AKS 社群端點,請確認它們包含所有必要的 FQDN。
配置社群端點
前往你的社群(例如:
cmt-fabrikam)。選擇 Community endpoints>+ 建立或編輯現有
ce-aks-services。確保這些規則的存在:
規則 1:Microsoft 容器登錄檔
-
名稱:
mcr -
目的地:
mcr.microsoft.com,*.data.mcr.microsoft.com -
通訊協定:
HTTPS -
端口:
443
規則二:AKS 管理
-
名稱:
aks-management -
目的地:
*.hcp.<region>.azmk8s.io,<region>.dp.kubernetesconfiguration.azure.com -
通訊協定:
HTTPS -
端口:
443
規則 3:Azure 管理
-
名稱:
azure-management -
目的地:
management.azure.com,login.microsoftonline.com -
通訊協定:
HTTPS -
端口:
443
規則四:套件儲存庫
-
名稱:
packages -
目的地:
packages.microsoft.com,acs-mirror.azureedge.net,azure.archive.ubuntu.com -
通訊協定:
HTTPS -
端口:
443
規則 5:Azure 監視器(若啟用)
-
名稱:
monitoring -
目的地:
*.ods.opinsights.azure.com,*.oms.opinsights.azure.com,dc.services.visualstudio.com -
通訊協定:
HTTPS -
端口:
443
-
名稱:
選擇 評論 + 建立 ,然後選擇 建立 或 儲存。
設定 NSG 輸出規則
在 NSG 中新增出站安全性規則,以允許 AKS 流量。
- 進入 網路安全群組>
nsg-aks-nodes。 - 選擇 出站安全規則>+新增。
- 新增 HTTPS 外站規則:
-
資料來源:
VirtualNetwork -
目的地:
Internet -
目的地港口:
443 -
通訊協定:
TCP -
動作場面:
Allow -
優先事項:
1000 -
名稱:
Allow_HTTPS_Outbound
-
資料來源:
將 AKS 資源群組與工作負載關聯
AKS 為叢集基礎設施建立一個受管理資源群組(MRG)。 將使用者資源群組和 MRG 都關聯到你的工作負載。
使用 Azure 入口網站
- 在 Azure 入口網站中導覽到你的 Azure Enclave 服務。
- 選擇您的 社群 (例如,
cmt-fabrikam)。 - 選取 Enclaves,然後開啟您的 AKS enclave(例如
ve-aks)。 - 選擇 工作負載 並開啟你的 AKS 工作負載 (例如,
wl-aks)。 - 在工作負載總覽中,選擇 屬性 或 連結資源群組。
- 選擇 + 新增資源群組。
- 新增使用者資源群組:
- 選擇 訂閱:您的訂閱
- 選擇 資源組別:
rg-aks-cluster - 選取 [新增]。
- 再次選擇 + 新增資源群組 。
- 新增 AKS 管理資源群組:
- 受控 RG 名稱遵循以下模式:
MC_rg-aks-cluster_aks-prod-01_<region> - 選擇 訂閱:您的訂閱
- 選擇 資源群組:AKS 管理資源群組
- 選取 [新增]。
- 受控 RG 名稱遵循以下模式:
- 確認兩個資源群組都出現在工作負載的連結資源群組清單中。
Tip
要找到 AKS 管理的資源群組名稱,請在入口網站中前往你的 AKS 叢集,並在概覽頁面上查看 節點資源群組 屬性。
存取 AKS 叢集
透過管理員虛擬機或 enclave 內的 Azure Bastion 存取私有 AKS 叢集。
連接到管理員虛擬機
- 透過 Azure Bastion 或 RDP 連接到你的管理員虛擬機。
- 確保管理員虛擬機安裝了 Azure CLI。
- 登入 Azure:
az login
取得 AKS 認證
# Get cluster credentials
az aks get-credentials `
--resource-group rg-aks-cluster `
--name aks-prod-01 `
--admin
# Verify connection
kubectl get nodes
預期輸出會顯示處於 Ready 狀態的節點:
NAME STATUS ROLES AGE VERSION
aks-systempool-12345678-vmss000000 Ready agent 5m v1.29.5
aks-systempool-12345678-vmss000001 Ready agent 5m v1.29.5
aks-systempool-12345678-vmss000002 Ready agent 5m v1.29.5
部署測試工作負載
部署範例應用程式來驗證叢集。
建立命名空間
kubectl create namespace test-app
部署範例應用程式
# Save as test-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
namespace: test-app
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: mcr.microsoft.com/oss/nginx/nginx:1.25.3
ports:
- containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
name: nginx-service
namespace: test-app
spec:
type: LoadBalancer
selector:
app: nginx
ports:
- port: 80
targetPort: 80
# Apply the deployment
kubectl apply -f test-deployment.yaml
# Check deployment status
kubectl get deployments -n test-app
kubectl get pods -n test-app
kubectl get services -n test-app
驗證部署
對你的 AKS 叢集進行全面驗證。
檢查叢集健全狀態
# Check node status
kubectl get nodes -o wide
# Check system pods
kubectl get pods -n kube-system
# Check node conditions
kubectl describe nodes | grep -A 5 Conditions
驗證加密
# Check if encryption at host is enabled
az aks show --resource-group rg-aks-cluster --name aks-prod-01 --query "securityProfile.enableEncryptionAtHost"
# Check disk encryption set
az aks show --resource-group rg-aks-cluster --name aks-prod-01 --query "diskEncryptionSetId"
驗證網路連線能力
# Test DNS resolution
kubectl run -it --rm debug --image=mcr.microsoft.com/dotnet/runtime-deps:6.0 --restart=Never -- nslookup kubernetes.default
# Test internet connectivity through community endpoints
kubectl run -it --rm debug --image=curlimages/curl --restart=Never -- curl -I https://mcr.microsoft.com
# Check service connectivity
kubectl get services -A
檢查監控和記錄
# Check if Container Insights is enabled
az aks show --resource-group rg-aks-cluster --name aks-prod-01 --query "addonProfiles.omsagent.enabled"
# Query logs in Log Analytics
az monitor log-analytics query `
--workspace <workspace-id> `
--analytics-query "ContainerLog | where TimeGenerated > ago(1h) | limit 10"
驗證 Azure 原則 合規性
# Check Azure Policy add-on status
kubectl get pods -n kube-system | grep azure-policy
# View policy violations (if any)
kubectl get constrainttemplates
kubectl get constraints
為其他使用者設定 kubectl 存取權限
授權其他使用者存取 AKS 叢集。
使用 Azure RBAC
# Assign Azure Kubernetes Service Cluster User Role
az role assignment create `
--assignee user@contoso.com `
--role "Azure Kubernetes Service Cluster User Role" `
--scope "/subscriptions/<subscription-id>/resourceGroups/rg-aks-cluster/providers/Microsoft.ContainerService/managedClusters/aks-prod-01"
# For admin access
az role assignment create `
--assignee user@contoso.com `
--role "Azure Kubernetes Service Cluster Admin Role" `
--scope "/subscriptions/<subscription-id>/resourceGroups/rg-aks-cluster/providers/Microsoft.ContainerService/managedClusters/aks-prod-01"
使用 Kubernetes RBAC
# Create role binding for namespace access
kubectl create rolebinding user-viewer `
--clusterrole=view `
--user=user@contoso.com `
--namespace=test-app
針對常見問題進行疑難排解
叢集建立失敗
症狀:AKS 叢集部署失敗
解決方案:
- 驗證功能旗標註冊如下:
EncryptionAtHost,EnableAPIServerVnetIntegrationPreview - 檢查子網路大小是否足以因應節點數和 pod 密度
- 確認磁碟加密設定和管理身份是否具備適當的權限
- 檢視活動日誌以確認特定錯誤訊息
節點尚未準備好
症狀:節點顯示 NotReady 狀態
解決方案:
- 檢查節點子網是否具備連線至必要端點的對外連線能力
- 驗證社群端點是否包含所有必要的 AKS FQDN
- 請查看 NSG 規則是否允許 443 埠口的外發流量
- 檢視節點日誌:
kubectl describe node <node-name>
Pods 無法擷取映像檔
症狀:Pod 卡在 ImagePullBackOff 狀態
解決方案:
- 驗證社群端點包含
mcr.microsoft.com及*.data.mcr.microsoft.com - 檢查 NSG 是否允許輸出 HTTPS(埠 443)
- 確保 DNS 解析正常:在 Pod 中執行
nslookup mcr.microsoft.com - 如果使用私有登錄檔,請檢查映像檔拉取密鑰
無法連接 API 伺服器
症狀: kubectl 指令因連線逾時而失敗
解決方案:
- 確認你使用的是管理員虛擬機或資源,並且有 enclave 連線
- 檢查私人 DNS 區域是否連結到虛擬網路
- 驗證 API 伺服器子網路設定
- 測試 DNS 解析:
nslookup <cluster-fqdn>
監控無法運作
症狀:Azure 監視器 中沒有日誌或指標
解決方案:
- 確認已啟用 Container Insights 附加元件
- 檢查社群端點是否包含監控 FQDN
- Verify Log Analytics 工作區可從叢集存取
- 檢查
omsagentPod 是否正在執行:kubectl get pods -n kube-system | grep omsagent
清理資源
為避免持續收費,刪除不再需要的資源。
刪除 AKS 叢集
# Delete AKS cluster (also deletes managed resource group)
az aks delete --resource-group rg-aks-cluster --name aks-prod-01 --yes --no-wait
# Delete user resource group
az group delete --name rg-aks-cluster --yes --no-wait
# Delete infrastructure resource group
az group delete --name rg-aks-infrastructure --yes --no-wait
Warning
刪除 AKS 叢集會永久移除所有工作負載和資料。 確保有備份以備不時。
下一步
你完成了關於在 Azure Enclave 中部署 Azure 虛擬桌面 和 AKS 工作負載的教學系列!