疑難排解雲端儲存體的分散式加速器(預覽)

使用本文診斷透過受控擴充功能啟用的雲端儲存分散式加速器 (DACS)。 先從與你的問題相符的症狀開始:

徵兆 從這裡開始
安裝失敗,或控制器未就緒 安裝失敗
快取建立失敗或快取伺服器 Pod 尚未準備好 快取尚未準備好
工作負載回報 Blob 驗證或讀取錯誤 工作負載無法讀取 Blob 資料
讀取成功,但沒有快取命中出現 讀取成功但不會使用快取
冷啟動或重複讀取模型耗時過久 模型載入速度比預期慢

在已為你的 AKS 叢集設定好 kubectl 的 Bash shell 裡執行這些指令。 設定快取名稱和命名空間。 管理擴充套件同時在 kube-system 中安裝控制器及 NVMe 必要條件 DaemonSet。 快取資源與快取伺服器 Pod 使用快取命名空間。

CACHE_NAMESPACE=<cache-namespace>
CACHE_NAME=<cache-name>

安裝失敗

請檢查擴充功能的配置狀態、已安裝版本及錯誤細節:

az k8s-extension show \
  --cluster-type managedClusters \
  --cluster-name <cluster-name> \
  --resource-group <resource-group> \
  --name distributedaccelerator \
  --query '{extensionType:extensionType,currentVersion:currentVersion,releaseTrain:releaseTrain,state:provisioningState,statuses:statuses}'

擴展類型應為 microsoft.distributedaccelerator ,其狀態應為 Succeeded。 用 currentVersion 來識別已安裝的發行版本;不要從公開圖表、圖片或客戶端套件推斷。 檢查你是否符合 Azure CLI 的先決條件。 請勿安裝第二個控制器,或變更擴充功能底層的 Helm 版本來規避安裝錯誤。

產品的預覽狀態不要求已安裝擴充功能的 releaseTrain 必須是 preview。 檢查傳回值。 位置目錄要求傳回 HTTP 404 或 InvalidResourceType,本身並不足以判定該區域無法使用 DACS。 請查看叢集專屬擴充功能的狀態以及 DACS 預覽支援指引。

檢查控制器的準備狀況與事件:

kubectl rollout status deployment/dacs-manager --namespace kube-system --timeout=5m
kubectl get events --namespace kube-system --sort-by='.lastTimestamp' | tail -50
  • 原則拒絕:檢查回報的原則。 NVMe 必要元件需要特殊權限存取,才能探索、格式化及掛接本機 NVMe 磁碟。 請安全性團隊檢閱任何必要的原則例外狀況。
  • AKS 作業正在進行中: 若 OperationNotAllowed 回報另一項 AKS 作業,請等待該作業結束後再嘗試。 請勿啟動重疊的更新,或自動中止由 AKS 管理的作業。
  • VM 配置失敗:AKS 狀態協調期間發生的 AllocationFailed 錯誤,可能反映節點或額外升級節點的容量問題,而非 DACS 映像問題。 檢查節點池配置狀態和區域虛擬機容量。 在更改節點池升級設定前,請先檢視工作負載中斷的情況。
  • 控制器重新啟動: 檢查控制器日誌與探針故障事件。 啟動時重新啟動後維持穩定就緒,與反覆重新啟動或無法進入 Ready 狀態的情況不同。 不要把 admission webhook 當作變通方法停用。
  • 升級後失敗: 在進一步更改前,請檢查目標版本的相容性要求並收集診斷資料。 不要把快取CRD當作復原步驟刪除:刪除它會移除所有快取資源。 請參閱 「準備升級」。

快取還沒準備好

安裝控制器並不會建立快取伺服器。 若無快取資源,請參閱佈建快取。

對於現有快取,檢查其狀況、伺服器數量、Pod 數量及事件:

kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" -o yaml
kubectl get pods --namespace "$CACHE_NAMESPACE" --selector app=cacheserver -o wide
kubectl get events --namespace "$CACHE_NAMESPACE" --sort-by='.lastTimestamp' | tail -50

健康的快取有 Ready=True、已填入的探索 URL,以及匹配的當前與期望伺服器數量。 其伺服器 Pod 應為 Ready,而不只是 Running。 Pod 列表包含該命名空間中的所有快取伺服器。 如果多個快取共用命名空間,使用擁有者參考來識別你的快取的 pod。

徵兆 檢查與修正動作
API 拒絕快取清單 閱讀欄位錯誤,並將其與 Cache 完整範例及已安裝版本的結構描述比較。 包含 scaling、 serverSizeInGB和 serverThreads; serverThreads 必須至少為 4。
PodsScheduled=False 或 Pod 持續處於 Pending 狀態 請描述受影響的 Pod。 檢查符合資格的節點數量、節點標籤、污點,以及可用 CPU 和記憶體是否符合 Cache 規範。
NVMe 必要元件 DaemonSet 的預期複本數為零 檢查它的節點選擇器是否與你的 NVMe 節點相符。 快速入門中使用 dacs.azure.com/processing-unit=cpu。 透過 AKS 節點集區設定套用持久標籤。
ReplicasReady=False、掛載錯誤或伺服器重複重啟 檢查 Pod 事件,以及伺服器/NVMe 必要元件記錄,找出映像提取、資源及磁碟設定錯誤。 確認其他元件沒有使用相同的 NVMe 硬碟。

對於 pod 層級錯誤:

kubectl describe pod <cache-server-pod> --namespace "$CACHE_NAMESPACE"
kubectl get nodes --show-labels

若發生掛載錯誤或磁碟使用異常,請檢查快取檔案系統:

kubectl exec --namespace "$CACHE_NAMESPACE" <cache-server-pod> -- \
  df -h <cache-data-path>

路徑必須位於本機 NVMe 上,而非作業系統磁碟。 確認在NVMe 準備驗證期間檢查的掛載點與spec.storage.hostPath.nodeCacheFolderPath相符。 檢查管理的前置 DaemonSet,並識別受影響節點上的 pod:

kubectl get daemonset dacs-prereq --namespace kube-system
kubectl rollout status daemonset/dacs-prereq --namespace kube-system --timeout=10m
kubectl get pods --namespace kube-system \
  --selector app.kubernetes.io/name=dacs-prereq --output wide
kubectl logs <prerequisite-pod> --namespace kube-system \
  --container nvme-raid-setup --tail=200

磁碟設定日誌來自 nvme-raid-setup 初始化容器,而非 Pod 預設容器。 如果受控 DaemonSet 尚未就緒,請勿重複安裝必要元件圖表。 對於透過其他方式部署的舊有前置條件,請使用它們的實際命名空間和容器名稱。 請參見 檢查快取儲存設定。

工作負載無法讀取 Blob 資料

利用工作負載的讀取錯誤來區分認證、路徑與連線問題:

錯誤或症狀 檢查與糾正措施
認證或權限錯誤 確認用戶端選取的身分識別在必要的容器範圍具有 Storage Blob Data Reader。 預留幾分鐘讓新角色分配生效。
未選取受控識別,或選取結果不明確 對於快速入門的原生 Python 用戶端,設定 AZURE_CLIENT_ID 為 kubelet 身份的客戶端 ID,將 MSI_ENDPOINT 設為節點 IMDS 端點,並將 MSI_SECRET 設為非空的相容性標記,而非憑證。 只設定客戶端 ID 對此設定是不夠的。 其他整合則有不同的設定;請遵循他們的認證指引。
找不到Blob 檢查帳號、容器和完整的 Blob 路徑,包括預期的模型版本和所有必要的分片。
DNS 錯誤或連線逾時 檢查 Blob 端點解析、網路規則和私有端點路由,從工作負載 Pod 出發。

關於身份設定,請參見 「授予模型資料的讀取權限」。

若模型更新回傳意外資料,應為每個版本使用獨立且不可變的 Blob 路徑,而非覆寫可變的 latest 路徑。 請參閱 部署前的預取模型資料 ,了解模型版本推展的工作流程。

如果應用程式因為無法匯入 Python 套件或原生函式庫,而在進行讀取作業前失敗,請在「使用雲端儲存體分散式加速器搭配 Python 用戶端」中查看套件安裝與執行階段需求。

讀取成功但不使用快取

客戶端可以改用 Azure Blob 儲存體。 成功的讀取或更快的第二次讀取,並不代表有快取。

在運行中的工作負載 pod 中,檢查兩個快取連線值是否都已設定:

kubectl exec --namespace <workload-namespace> <workload-pod> -- \
  printenv CACHE_DISCOVERY_URL CACHE_SERVER_PORT

將它們與所選快取資源進行比較:

kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" \
  -o jsonpath='{.status.discoveryURL}{"\n"}{.spec.port}{"\n"}'

若缺少其中任一變數,用戶端會記錄 Cache not configured. Working in Remote Blob mode only. 請修正工作負載設定並重新部署。 如果兩者都正確,請檢查 DNS 解析以及工作負載與快取端點的連線狀況。

快取填入是非同步的:讀取可能在快取資料尚未可用前完成,因此兩次立即讀取都可能未命中。 重複相同範圍,並在每次讀取之間加入延遲,就像快速入門中的五次讀取各間隔一秒一樣。 此順序並不保證會填入資料。 確認用戶端有快取命中,且所選 Cache 資源的所有伺服器 Pod 中,cache_server_request_counter{request_type="Download",status="Success"} 的數值有所增加。 標籤值是區分大小寫的。 關於程序與指標,請參見驗證 DACS 請求路徑。

模型載入速度比預期慢

首先確認讀取是否如前述所述使用快取。 接著比較冷讀與反覆暖讀,以找出瓶頸階段:

觀測 可能需要調查的範圍
冷讀取緩慢,或向外延展期間 Blob 流量激增 同時執行的用戶端可能會各自擷取相同的缺漏資料。 在部署前錯開啟動時間,或使用可選的部署前預取。
重複讀取仍持續未命中快取 先預留時間讓非同步資料填入作業完成,並檢查用戶端上傳錯誤和伺服器活動。 接著檢查作用中工作集是否超出容量或節點是否被替換。 檢視 容量規劃 與驅逐遙測資料。
快取會被命中,但讀取吞吐量較低 檢查 NVMe 掛載、客戶端/伺服器網路頻寬、CPU 可用性和讀取並發性。
資料讀取快速完成,但模型準備速度緩慢 分別測量檔案重建、模型反序列化、主機至GPU傳輸及模型初始化。

關於用戶端調校,請參見 「優化讀取效能」。 利用 監控指引 將快取活動與 Blob 流量相關聯。

若可選的預熱失敗,請使用上述 Blob 存取與快取準備檢查,修正受影響路徑,並重新嘗試讀取。 在計劃中的暖快取推出作業前,請驗證快取命中;預先擷取不會固定資料,也不保證資料持續駐留在快取中。

收集診斷資訊

如果檢查無法解決問題,請先從安裝區塊收集以下輸出及擴充狀態,再開啟 Azure 支援 請求:

kubectl version
kubectl get nodes -o wide
kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" -o yaml
kubectl get pods --namespace "$CACHE_NAMESPACE" -o wide
kubectl get events --namespace "$CACHE_NAMESPACE" --sort-by='.lastTimestamp'
kubectl logs deployment/dacs-manager --namespace kube-system --tail=200
kubectl logs <cache-server-pod> --namespace "$CACHE_NAMESPACE" --tail=200

對於容器重新啟動,也要使用 kubectl logs --previous 收集受影響 Pod 的先前日誌。 對於磁碟設定錯誤,請包含 nvme-raid-setup 先前所示的初始化容器日誌。 針對應用程式讀取失敗,請一併提供工作負載記錄。 若要收集計量,請參閱監視雲端儲存分散式加速器。

請包含時間範圍、受影響的操作、AKS 版本、虛擬機大小、DACS 擴充版本、用戶端版本及近期的設定變更。 在分享前,從日誌和資源輸出中移除權杖、SAS 值、敏感的 Blob 路徑及其他機密資訊。

下一步