使用本文診斷透過受控擴充功能啟用的雲端儲存分散式加速器 (DACS)。 先從與你的問題相符的症狀開始:
| 徵兆 | 從這裡開始 |
|---|---|
| 安裝失敗,或控制器未就緒 | 安裝失敗 |
| 快取建立失敗或快取伺服器 Pod 尚未準備好 | 快取尚未準備好 |
| 工作負載回報 Blob 驗證或讀取錯誤 | 工作負載無法讀取 Blob 資料 |
| 讀取成功,但沒有快取命中出現 | 讀取成功但不會使用快取 |
| 冷啟動或重複讀取模型耗時過久 | 模型載入速度比預期慢 |
在已為你的 AKS 叢集設定好 kubectl 的 Bash shell 裡執行這些指令。 設定快取名稱和命名空間。 管理擴充套件同時在 kube-system 中安裝控制器及 NVMe 必要條件 DaemonSet。 快取資源與快取伺服器 Pod 使用快取命名空間。
CACHE_NAMESPACE=<cache-namespace>
CACHE_NAME=<cache-name>
安裝失敗
請檢查擴充功能的配置狀態、已安裝版本及錯誤細節:
az k8s-extension show \
--cluster-type managedClusters \
--cluster-name <cluster-name> \
--resource-group <resource-group> \
--name distributedaccelerator \
--query '{extensionType:extensionType,currentVersion:currentVersion,releaseTrain:releaseTrain,state:provisioningState,statuses:statuses}'
擴展類型應為 microsoft.distributedaccelerator ,其狀態應為 Succeeded。 用 currentVersion 來識別已安裝的發行版本;不要從公開圖表、圖片或客戶端套件推斷。 檢查你是否符合 Azure CLI 的先決條件。 請勿安裝第二個控制器,或變更擴充功能底層的 Helm 版本來規避安裝錯誤。
產品的預覽狀態不要求已安裝擴充功能的 releaseTrain 必須是 preview。 檢查傳回值。 位置目錄要求傳回 HTTP 404 或 InvalidResourceType,本身並不足以判定該區域無法使用 DACS。 請查看叢集專屬擴充功能的狀態以及 DACS 預覽支援指引。
檢查控制器的準備狀況與事件:
kubectl rollout status deployment/dacs-manager --namespace kube-system --timeout=5m
kubectl get events --namespace kube-system --sort-by='.lastTimestamp' | tail -50
- 原則拒絕:檢查回報的原則。 NVMe 必要元件需要特殊權限存取,才能探索、格式化及掛接本機 NVMe 磁碟。 請安全性團隊檢閱任何必要的原則例外狀況。
-
AKS 作業正在進行中: 若
OperationNotAllowed回報另一項 AKS 作業,請等待該作業結束後再嘗試。 請勿啟動重疊的更新,或自動中止由 AKS 管理的作業。 -
VM 配置失敗:AKS 狀態協調期間發生的
AllocationFailed錯誤,可能反映節點或額外升級節點的容量問題,而非 DACS 映像問題。 檢查節點池配置狀態和區域虛擬機容量。 在更改節點池升級設定前,請先檢視工作負載中斷的情況。 - 控制器重新啟動: 檢查控制器日誌與探針故障事件。 啟動時重新啟動後維持穩定就緒,與反覆重新啟動或無法進入 Ready 狀態的情況不同。 不要把 admission webhook 當作變通方法停用。
- 升級後失敗: 在進一步更改前,請檢查目標版本的相容性要求並收集診斷資料。 不要把快取CRD當作復原步驟刪除:刪除它會移除所有快取資源。 請參閱 「準備升級」。
快取還沒準備好
安裝控制器並不會建立快取伺服器。 若無快取資源,請參閱佈建快取。
對於現有快取,檢查其狀況、伺服器數量、Pod 數量及事件:
kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" -o yaml
kubectl get pods --namespace "$CACHE_NAMESPACE" --selector app=cacheserver -o wide
kubectl get events --namespace "$CACHE_NAMESPACE" --sort-by='.lastTimestamp' | tail -50
健康的快取有 Ready=True、已填入的探索 URL,以及匹配的當前與期望伺服器數量。 其伺服器 Pod 應為 Ready,而不只是 Running。 Pod 列表包含該命名空間中的所有快取伺服器。 如果多個快取共用命名空間,使用擁有者參考來識別你的快取的 pod。
| 徵兆 | 檢查與修正動作 |
|---|---|
| API 拒絕快取清單 | 閱讀欄位錯誤,並將其與 Cache 完整範例及已安裝版本的結構描述比較。 包含 scaling、 serverSizeInGB和 serverThreads; serverThreads 必須至少為 4。 |
PodsScheduled=False 或 Pod 持續處於 Pending 狀態 |
請描述受影響的 Pod。 檢查符合資格的節點數量、節點標籤、污點,以及可用 CPU 和記憶體是否符合 Cache 規範。 |
| NVMe 必要元件 DaemonSet 的預期複本數為零 | 檢查它的節點選擇器是否與你的 NVMe 節點相符。 快速入門中使用 dacs.azure.com/processing-unit=cpu。 透過 AKS 節點集區設定套用持久標籤。 |
ReplicasReady=False、掛載錯誤或伺服器重複重啟 |
檢查 Pod 事件,以及伺服器/NVMe 必要元件記錄,找出映像提取、資源及磁碟設定錯誤。 確認其他元件沒有使用相同的 NVMe 硬碟。 |
對於 pod 層級錯誤:
kubectl describe pod <cache-server-pod> --namespace "$CACHE_NAMESPACE"
kubectl get nodes --show-labels
若發生掛載錯誤或磁碟使用異常,請檢查快取檔案系統:
kubectl exec --namespace "$CACHE_NAMESPACE" <cache-server-pod> -- \
df -h <cache-data-path>
路徑必須位於本機 NVMe 上,而非作業系統磁碟。 確認在NVMe 準備驗證期間檢查的掛載點與spec.storage.hostPath.nodeCacheFolderPath相符。 檢查管理的前置 DaemonSet,並識別受影響節點上的 pod:
kubectl get daemonset dacs-prereq --namespace kube-system
kubectl rollout status daemonset/dacs-prereq --namespace kube-system --timeout=10m
kubectl get pods --namespace kube-system \
--selector app.kubernetes.io/name=dacs-prereq --output wide
kubectl logs <prerequisite-pod> --namespace kube-system \
--container nvme-raid-setup --tail=200
磁碟設定日誌來自 nvme-raid-setup 初始化容器,而非 Pod 預設容器。 如果受控 DaemonSet 尚未就緒,請勿重複安裝必要元件圖表。 對於透過其他方式部署的舊有前置條件,請使用它們的實際命名空間和容器名稱。 請參見 檢查快取儲存設定。
工作負載無法讀取 Blob 資料
利用工作負載的讀取錯誤來區分認證、路徑與連線問題:
| 錯誤或症狀 | 檢查與糾正措施 |
|---|---|
| 認證或權限錯誤 | 確認用戶端選取的身分識別在必要的容器範圍具有 Storage Blob Data Reader。 預留幾分鐘讓新角色分配生效。 |
| 未選取受控識別,或選取結果不明確 | 對於快速入門的原生 Python 用戶端,設定 AZURE_CLIENT_ID 為 kubelet 身份的客戶端 ID,將 MSI_ENDPOINT 設為節點 IMDS 端點,並將 MSI_SECRET 設為非空的相容性標記,而非憑證。 只設定客戶端 ID 對此設定是不夠的。 其他整合則有不同的設定;請遵循他們的認證指引。 |
| 找不到Blob | 檢查帳號、容器和完整的 Blob 路徑,包括預期的模型版本和所有必要的分片。 |
| DNS 錯誤或連線逾時 | 檢查 Blob 端點解析、網路規則和私有端點路由,從工作負載 Pod 出發。 |
關於身份設定,請參見 「授予模型資料的讀取權限」。
若模型更新回傳意外資料,應為每個版本使用獨立且不可變的 Blob 路徑,而非覆寫可變的 latest 路徑。 請參閱 部署前的預取模型資料 ,了解模型版本推展的工作流程。
如果應用程式因為無法匯入 Python 套件或原生函式庫,而在進行讀取作業前失敗,請在「使用雲端儲存體分散式加速器搭配 Python 用戶端」中查看套件安裝與執行階段需求。
讀取成功但不使用快取
客戶端可以改用 Azure Blob 儲存體。 成功的讀取或更快的第二次讀取,並不代表有快取。
在運行中的工作負載 pod 中,檢查兩個快取連線值是否都已設定:
kubectl exec --namespace <workload-namespace> <workload-pod> -- \
printenv CACHE_DISCOVERY_URL CACHE_SERVER_PORT
將它們與所選快取資源進行比較:
kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" \
-o jsonpath='{.status.discoveryURL}{"\n"}{.spec.port}{"\n"}'
若缺少其中任一變數,用戶端會記錄 Cache not configured. Working in Remote Blob mode only. 請修正工作負載設定並重新部署。 如果兩者都正確,請檢查 DNS 解析以及工作負載與快取端點的連線狀況。
快取填入是非同步的:讀取可能在快取資料尚未可用前完成,因此兩次立即讀取都可能未命中。 重複相同範圍,並在每次讀取之間加入延遲,就像快速入門中的五次讀取各間隔一秒一樣。 此順序並不保證會填入資料。 確認用戶端有快取命中,且所選 Cache 資源的所有伺服器 Pod 中,cache_server_request_counter{request_type="Download",status="Success"} 的數值有所增加。 標籤值是區分大小寫的。 關於程序與指標,請參見驗證 DACS 請求路徑。
模型載入速度比預期慢
首先確認讀取是否如前述所述使用快取。 接著比較冷讀與反覆暖讀,以找出瓶頸階段:
| 觀測 | 可能需要調查的範圍 |
|---|---|
| 冷讀取緩慢,或向外延展期間 Blob 流量激增 | 同時執行的用戶端可能會各自擷取相同的缺漏資料。 在部署前錯開啟動時間,或使用可選的部署前預取。 |
| 重複讀取仍持續未命中快取 | 先預留時間讓非同步資料填入作業完成,並檢查用戶端上傳錯誤和伺服器活動。 接著檢查作用中工作集是否超出容量或節點是否被替換。 檢視 容量規劃 與驅逐遙測資料。 |
| 快取會被命中,但讀取吞吐量較低 | 檢查 NVMe 掛載、客戶端/伺服器網路頻寬、CPU 可用性和讀取並發性。 |
| 資料讀取快速完成,但模型準備速度緩慢 | 分別測量檔案重建、模型反序列化、主機至GPU傳輸及模型初始化。 |
關於用戶端調校,請參見 「優化讀取效能」。 利用 監控指引 將快取活動與 Blob 流量相關聯。
若可選的預熱失敗,請使用上述 Blob 存取與快取準備檢查,修正受影響路徑,並重新嘗試讀取。 在計劃中的暖快取推出作業前,請驗證快取命中;預先擷取不會固定資料,也不保證資料持續駐留在快取中。
收集診斷資訊
如果檢查無法解決問題,請先從安裝區塊收集以下輸出及擴充狀態,再開啟 Azure 支援 請求:
kubectl version
kubectl get nodes -o wide
kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" -o yaml
kubectl get pods --namespace "$CACHE_NAMESPACE" -o wide
kubectl get events --namespace "$CACHE_NAMESPACE" --sort-by='.lastTimestamp'
kubectl logs deployment/dacs-manager --namespace kube-system --tail=200
kubectl logs <cache-server-pod> --namespace "$CACHE_NAMESPACE" --tail=200
對於容器重新啟動,也要使用 kubectl logs --previous 收集受影響 Pod 的先前日誌。 對於磁碟設定錯誤,請包含 nvme-raid-setup 先前所示的初始化容器日誌。 針對應用程式讀取失敗,請一併提供工作負載記錄。 若要收集計量,請參閱監視雲端儲存分散式加速器。
請包含時間範圍、受影響的操作、AKS 版本、虛擬機大小、DACS 擴充版本、用戶端版本及近期的設定變更。 在分享前,從日誌和資源輸出中移除權杖、SAS 值、敏感的 Blob 路徑及其他機密資訊。