利用本文檢查雲端儲存體的分散式加速器(DACS)的狀況、規劃容量、預取模型資料、擴充快取伺服器,並準備維護。 DACS 主要加速用於推論的模型載入,也能加速重複資料集讀取以進行訓練。
開始之前
依照「AKS 上的雲端儲存體分散式加速器快速入門」來設定 DACS 和快取資源。 在 Bash shell 中,使用已針對你的 AKS 叢集完成設定的 kubectl 執行下列指令。
設定你想管理快取的命名空間和名稱:
CACHE_NAMESPACE=<cache-namespace>
CACHE_NAME=<cache-name>
檢查 DACS 健康狀況
列表 Cache 資源及其狀態:
kubectl get cache -A -o wide
健康的快取資源具備以下特性:
- 條件
Ready為True。 - 目前的伺服器數量與目標伺服器數量相符。
- 已填入探索 URL。
- 每個快取伺服器 Pod 都已準備好,並排程於符合資格的 NVMe 節點上。
檢查快取資源及相關事件:
kubectl get cache "$CACHE_NAME" \
--namespace "$CACHE_NAMESPACE" \
-o yaml
kubectl get pods \
--namespace "$CACHE_NAMESPACE" \
--selector app=cacheserver \
-o wide
kubectl get events \
--namespace "$CACHE_NAMESPACE" \
--sort-by='.lastTimestamp'
規劃容量
要為使用中的工作集設定快取大小,而不是 Azure Blob 儲存體 中每個模型或資料集的總大小。 對於推論,請將啟動與橫向擴充期間載入的模型納入考量。對於訓練,請將工作節點在不同訓練週期或作業中重複讀取的資料集部分納入考量。 為新模型版本、資料集變更以及資料遭淘汰預留餘裕。
請考慮以下輸入:
- 使用中的模型或資料集位元組數,以及預期版本間的重疊量。
- 每個快取節點的本地 NVMe 磁碟數量與大小。
- 快取節點數量及其網路出口頻寬。
- 並行推論讀取器或訓練背景工作的數量。
- 預期的暖快取命中率和 Blob 後援比率。
- 當快取節點被替換時,具備容錯能力。
雲端儲存的分散式加速器支援最多 100 個節點。 更多的快取伺服器能增加總體容量,並能增加對讀取器的 fan-in 頻寬。 在 NVMe 輸送量用盡之前,用戶端和叢集網路可能就會先成為限制因素。
Note
快取資料為暫時性資料,不會透過複寫來確保持久性。 請將具權威性的模型檔案和資料集保留在 Azure Blob 儲存體中。 DACS 不提供訓練輸出或檢查點的持久儲存。
冷快取讀取的規劃
新的快取伺服器啟動時沒有快取資料。 節點替換、驅逐和維護也可能導致先前快取的資料再次從 Azure Blob 儲存體 讀取出來。 規劃部署和擴縮事件,以免並行冷讀取使儲存體帳戶或網路過載。
啟動工作負載後,請透過用戶端快取命中計量,以及快取伺服器成功要求計數器的增加情形,確認讀取作業使用 DACS。 僅有成功或更快的讀取並不能證明已使用快取,因為客戶端可以回退到 Azure Blob 儲存體。 關於驗證步驟,請參見 「驗證 DACS 請求路徑」。 如需持續的遙測資料,請參閱監視雲端儲存分散式加速器。
部署前預取模型資料
預取是冷啟動和模型升級的可選優化選項。 在啟動推論副本前,先透過 DACS 讀取模型資料,使其首次讀取能使用共享快取。 應用程式在快取冷卻時仍可讀取 Azure Blob 儲存體;預取並非正確性所需。
以下範例使用客戶端驅動的暖場:Python 程序會透過 DACS 用戶端讀取每個模型 blob。 它不需要另外的預取 CLI 指令。
準備暖機工作負載
- 確認快取資源已準備好,且容量足夠容納所選模型檔案。 進行模型升級時,確保在部署期間現有與新版本皆有容量。
- 將新模型上傳至不同且含版本資訊的 Blob 路徑,例如
models/my-model/v2/。 在推出與回滾視窗完成之前,先保留現有版本。 - 建立並推送客戶端映像檔,並依 快速入門說明授予 kubelet 身份 Blob 讀取權限。 接下來章節中的專用 Pod 使用了該映像和識別資訊;它沒有使用快速入門中已完成的測試 Pod。
- 暖機用戶端和推論讀取器應使用相同的快取區塊設定,包括您有覆寫的
SI_streamingChunkSize。 不同的區塊大小會產生不同的快取項目,因此為某個配置暖機,並不會讓另一個配置也完成暖機。 請參見 配置快取區塊大小。 - 選取所有載入模型所需的 blob,包括所有權重碎片。 一開始請使用少量暖機背景工作,以限制 Blob 流量。
建立一個專用的預取 pod
在同一個 shell 會話中,設定快速啟動中建置的映像檔和 kubelet 受控識別的用戶端 ID。 叢集必須能夠拉取影像。 該 Pod 會維持可用一小時,讓你可以執行並驗證預熱讀取;完成後可提前將其刪除。
WORKLOAD_IMAGE=<registry-name>.azurecr.io/dacs-test:0.1.0
KUBELET_CLIENT_ID=<kubelet-managed-identity-client-id>
CLIENT_POD=dacs-prefetch
CACHE_DISCOVERY_URL=$(kubectl get cache "$CACHE_NAME" \
--namespace "$CACHE_NAMESPACE" -o jsonpath='{.status.discoveryURL}')
CACHE_SERVER_PORT=$(kubectl get cache "$CACHE_NAME" \
--namespace "$CACHE_NAMESPACE" -o jsonpath='{.spec.port}')
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
name: $CLIENT_POD
namespace: $CACHE_NAMESPACE
spec:
restartPolicy: Never
activeDeadlineSeconds: 3600
containers:
- name: prefetch
image: $WORKLOAD_IMAGE
command: ["sleep", "3600"]
env:
- name: CACHE_DISCOVERY_URL
value: "$CACHE_DISCOVERY_URL"
- name: CACHE_SERVER_PORT
value: "$CACHE_SERVER_PORT"
- name: AZURE_CLIENT_ID
value: "$KUBELET_CLIENT_ID"
- name: MSI_ENDPOINT
value: "http://169.254.169.254/metadata/identity/oauth2/token"
- name: MSI_SECRET
value: "required-nonempty-value"
- name: DACS_CPU_CORES
value: "2"
- name: DACS_MEMORY_MB
value: "512"
resources:
requests:
cpu: "1"
memory: 512Mi
limits:
cpu: "2"
memory: 1Gi
EOF
kubectl wait --namespace "$CACHE_NAMESPACE" \
--for=condition=Ready "pod/$CLIENT_POD" --timeout=5m
如果推論讀者覆寫快取區塊大小,請在建立此 pod 前加入相同的設定。 針對暖機和驗證所需時間超過一小時的模型,請在部署前同時增加睡眠時間和 activeDeadlineSeconds。
讀取選定的模型 Blob
設定要暖機之 Blob 的完整路徑。 用你的模型檔案替換範例路徑:
MODEL_BLOBS=(
"az://<storage-account>.blob.core.windows.net/<container>/models/my-model/v2/model-00001.safetensors"
"az://<storage-account>.blob.core.windows.net/<container>/models/my-model/v2/model-00002.safetensors"
)
kubectl exec --namespace "$CACHE_NAMESPACE" -i "$CLIENT_POD" -- \
python3 - "${MODEL_BLOBS[@]}" <<'PY'
import asyncio
import os
import sys
from py_dacs_client.dacs_client import DACSCacheClient
from py_dacs_client.dacs_utils import BoundedBufferManager
async def main():
for name in ("CACHE_DISCOVERY_URL", "CACHE_SERVER_PORT"):
if not os.environ.get(name):
raise RuntimeError(f"Set {name} in the client pod before warming data")
client = DACSCacheClient()
buffers = BoundedBufferManager(max_memory_limit=64 * 1024 * 1024)
try:
for path in sys.argv[1:]:
size = await client.get_file_size(path)
offset = 0
while offset < size:
length = min(4 * 1024 * 1024, size - offset)
buffer = await buffers.acquire_buffer(length)
try:
count = await client.read_blob(path, buffer, length, offset)
if count != length:
raise RuntimeError(
f"{path}: expected {length} bytes at {offset}, got {count}"
)
finally:
await buffers.release_buffer(buffer)
offset += count
print(f"Read complete: {path} ({size} bytes)", flush=True)
finally:
await client.shutdown()
asyncio.run(main())
PY
此程序會使用有界緩衝區完整讀取每個列出的 blob。 與快速入門中的範例不同,它不會在前 4 MiB 後停止。 視需要對其他檔案群組重複執行命令。
驗證暖機情形並推出模型
- 檢查命令是否已針對每個選定的 Blob 成功結束。 讀取失敗會停止範例;先解決認證、連線或 Blob 路徑錯誤後再嘗試。
- 重複讀取並透過 驗證 DACS 請求路徑確認快取命中。 僅有成功讀取並不能證明資料已快取,讀取完成時,快取填入作業可能仍在進行中。
- 使用相同版本化的 Blob 路徑,開始少量推理副本。 向外延展之前,請確認模型載入成功,且讀取作業使用快取。
- 升級時,只有在應用程式健康檢查通過後,才將流量轉移到新模型。 保留舊模型以供回滾使用。
預先擷取不會固定資料,也不保證資料會持續保留在快取中。 驅逐、節點替換或快取拓撲變更可能需要再次熱身。 在推出期間監控快取容量和 Blob 流量。
驗證後,刪除專用的 Pod。 此操作不會移除 DACS 伺服器上快取的資料。
kubectl delete pod "$CLIENT_POD" --namespace "$CACHE_NAMESPACE"
Python 範例透過 kubectl exec 執行,因此請擷取其終端機輸出,以取得讀取錯誤和關閉時的計量。 Pod 的主要 sleep 處理程序不會發出這些訊息。
檢查快取儲存設定
快取資源指定快取伺服器數量、每台伺服器容量、資源限制、節點選擇器及快取資料路徑。 在變更容量前檢查目前的配置:
kubectl get cache "$CACHE_NAME" \
--namespace "$CACHE_NAMESPACE" \
-o yaml
快速啟動中使用的主機路徑spec.storage.hostPath.nodeCacheFolderPath配置必須與NVMe 準備驗證期間檢查的掛載點相符。 路徑必須解析到專用的本地 NVMe 儲存裝置,而非作業系統磁碟。 如需設定範例,請參閱佈建快取。
擴展快取
針對快速入門中使用的靜態調整設定,請變更 Cache 資源上的 spec.scaling.static.numServers,而非擴充功能上的設定。
在增加節點數量前,先將足夠多的合格 NVMe 節點加入快取節點池。 確保新節點擁有所需的節點池標籤,且其可用 CPU、記憶體與磁碟容量符合 Cache 規格。 受管理 dacs-prereq 的 DaemonSet 會自動在匹配節點上準備 NVMe。 請勿安裝其他必要元件圖表。
在增加伺服器數量前,請確認 DaemonSet 在每個新快取節點上都有 Ready pod:
kubectl rollout status daemonset/dacs-prereq --namespace kube-system --timeout=10m
kubectl get pods --namespace kube-system \
--selector app.kubernetes.io/name=dacs-prereq --output wide
只有在本機 NVMe 磁碟專供 DACS 使用時,才為節點加上標籤:先決設定可以格式化這些磁碟。 保持標籤在節點池配置中,這樣才能在節點替換時存活。
設定所需的伺服器數量並更新快取資源。 使用一個符合合格節點集區的正整數值:
DESIRED_SERVERS=3
kubectl patch cache "$CACHE_NAME" \
--namespace "$CACHE_NAMESPACE" \
--type merge \
--patch "{\"spec\":{\"scaling\":{\"static\":{\"numServers\":$DESIRED_SERVERS}}}}"
檢查期望和目前伺服器數量,直到匹配,然後確認準備度和 Pod 位置:
kubectl get cache "$CACHE_NAME" --namespace "$CACHE_NAMESPACE" -o wide
kubectl wait \
--namespace "$CACHE_NAMESPACE" \
--for=condition=Ready \
"cache/$CACHE_NAME" \
--timeout=10m
kubectl get pods \
--namespace "$CACHE_NAMESPACE" \
--selector app=cacheserver \
-o wide
Pod 列表包含該命名空間中的所有快取伺服器。 如果命名空間包含多個快取資源,請使用 pod 擁有者參考來識別你要更改快取的伺服器。 確認其伺服器數量與請求數量相符,且其所有伺服器在符合資格的 NVMe 節點上都處於 Ready 狀態,然後再繼續。
要縮小規模,請減少快取伺服器數量,並等待協調完成後再移除符合資格的節點。 當快取區塊遺失時,請預備快取未命中和額外的 Blob 流量。
為升級做好準備
在更改版本之前:
- 請檢查目標版本的相容性要求及支援的升級路徑。 不要假設任意預覽版本都支援原地升級。
- 記錄快取狀態、伺服器數量、容量、受控擴充功能的
currentVersion,以及工作負載用戶端版本。 請依照 驗證擴充功能 取得擴充功能詳情。 - 檢查已安裝擴充套件版本、NVMe 前置條件、快取設定與用戶端之間的相容性。 較新的公開 Chart 或用戶端套件,並不表示受控延伸模組已更新。
- 確認權威模型檔案和資料集是否存在於 Azure Blob 儲存體 中。
- 在快取重新填充不會讓 Blob 帳號超載的期間排程升級。
透過 DACS 擴充套件管理控制器生命週期,並針對目標版本遵循其支援的升級程序。 請勿直接升級擴充功能底層的 Helm 版本、在旁邊安裝其他控制器,或將持續性磁碟區驅動程式的升級指示套用至 DACS。 從現有手動安裝的遷移要另外規劃。
維護後,請依照「驗證擴充功能」確認擴充功能與控制器已就緒,然後重複本文中的快取健康檢查。
不要指望快取資料能在升級後存活。 允許在後續讀取時從 Azure Blob 儲存體 重新填入。
移除DACS
移除快取並不會刪除 Azure Blob 儲存體 中的原始模型檔案或資料集。 在移除快取前,先停止或重新設定依賴快取的工作負載。
關於清理順序與指令,請參見「移除雲端儲存的分散式加速器」。