雲端儲存分散式加速器(DACS)是一種分散式讀取穿透快取,能加速從 Azure Blob 儲存體 載入模型,用於 Azure Kubernetes Service(AKS)上的 AI 推論。 它利用跨快取節點的本地 NVMe 磁碟,將頻繁讀取的資料保持在 GPU 運算附近。 DACS 也能加速訓練工作負載的資料集載入,這些工作負載會反覆讀取相同資料。 Azure Blob 儲存體 仍然是模型檔案與資料集的持久且權威來源。
你可以透過 Azure 容器儲存體來啟用和管理 DACS,Azure 容器儲存體會安裝 DACS 受控擴充功能,並在 AKS 上處理其生命週期。 DACS 不是持久磁碟區、StorageClass,也不是 Azure Blob 儲存體 的替代品。 要建立 Kubernetes 持久磁碟區,請參閱「什麼是 Azure 容器儲存?」
Important
DACS 目前還在預覽階段。 預覽功能是在沒有服務等級合約的情況下提供的,不建議用於生產工作負載。 部分功能可能有限或不支援。 欲了解更多資訊,請參閱 Microsoft Azure 預覽版補充使用條款。
何時使用分散式加速進行雲端儲存
DACS 是為讀取密集型 AI 推論工作負載設計,這些工作負載會反覆從 Azure Blob 儲存體 載入相同的模型資料。 當您的工作負載具有下列一或多項特性時,請考慮使用 DACS:
- 推論 Pod 必須等候大型模型檔案載入後,才能處理要求。
- 新增 GPU 節點會導致模型資料的重複下載。
- Pod 重啟、節點替換或滾動升級會反覆取得相同的模型資料。
- 多個推論工作負載會重用儲存在 Azure Blob 儲存體 的模型檔案工作集。
- AKS 叢集有一個 Linux 節點池,裡面有本地的 NVMe 硬碟,可以專門用來做快取伺服器。
在訓練方面,當員工跨訓練週期或作業重複使用資料集部分時,可以考慮 DACS。 快取的效益取決於資料重用、工作集大小,以及讀取是否遇到冷快取或暖快取。
DACS 支援最多 100 個節點的叢集。 它不提供訓練輸出或檢查點的持久儲存。 KV 快取、容器映像快取、一般共享檔案存取,以及非 Azure Blob 來源都不包含在這個預覽中。
雲端儲存分散式加速器的運作方式
DACS 新增叢集本地 NVMe 快取層,工作負載可透過支援的用戶端整合存取。 客戶端可以在快取未命中或回退時直接讀取 Azure Blob 儲存體。
讀取路徑
- 應用程式會透過支援的 DACS 整合要求取得特定範圍的模型資料。
- 用戶端會發現快取伺服器,並判斷哪一台伺服器擁有所要求的區塊。
- 當快取命中時,客戶端會從所屬快取伺服器上的 NVMe 讀取該區塊。
- 當快取未命中時,客戶端會從 Azure Blob 儲存體 讀取該區塊/chunk,並以非同步方式填入快取。 讀取可能在填入完成前完成,因此立即重複讀取也可能讀不到。
- 如果快取無法使用,用戶端會退回到 Azure Blob 儲存體。
模型資料被分割成區塊,並分散到各個快取伺服器上。 一致性雜湊環可在不依賴集中式資料路徑的情況下,將區塊映射到伺服器。 快取伺服器可依據所選 Azure 虛擬機(VM)大小與叢集拓撲,透過乙太網路或 InfiniBand 傳輸資料。
受控部署
使用 Azure CLI 搭配 distributedAccelerator 值,透過 Azure 容器儲存體啟用 DACS。 此步驟會安裝獨立的 distributedaccelerator 受管理擴充功能。 此擴充功能會在 kube-system 中部署 DACS 控制器和 NVMe 必要元件 DaemonSet,並註冊 Cache 自訂資源定義。 前置作業會在已標記的快取節點上探索、格式化及掛載本機 NVMe 磁碟。 使用專門用於快取的磁碟;不要安裝獨立的前置條件 Chart。 這個擴充功能不會自動建立快取伺服器 Pods。
在確認每個已標記快取節點的受管理 NVMe 前置條件都已準備就緒後,建立一個快取資源來定義伺服器數量、容量、資源限制及符合資格的節點。 控制器會協調快取伺服器 Pod 的狀態,並發佈探索資訊供用戶端使用。 控制器負責管理資源;它不是應用程式資料讀取的代理。 請參閱安裝與快取配置的 快速入門 。
Note
當快取尚未填入資料時,同時執行的用戶端可能會各自擷取相同的缺漏資料。 此預覽版不提供協調式冷快取預先填入功能。 使用預先擷取,在推論 Pod 啟動前將選定的模型資料填入快取。
重點優勢
- 加快已快取模型的載入速度:從本機或對等節點的 NVMe 提供經常讀取的模型區塊,無須反覆從 Azure Blob 儲存體擷取。
- 加快向外延展與復原速度:讓新增或替換的節點重複使用叢集中已快取的模型資料。
- 減少重複 Blob 讀取次數: 將活躍模型工作集保留在快取中,並在計畫中的縮放事件前使用預取。
- 以範圍為基礎的快取:僅快取涵蓋所要求位元組範圍的區塊,無須將每個模型檔案完整具現化。
- 靈活的應用程式整合:使用 BlobFuse2、原生 Python 用戶端或 Run:ai Model Streamer,將工作負載連接到快取。
- 安全的後援機制:在資料未快取或快取無法使用時,仍以 Azure Blob 儲存體作為持久且具權威性的資料來源。
用戶端整合
應用程式需要變更的程度取決於整合方式:
| 整合 | 何時使用 | 應用程式變更 |
|---|---|---|
| 透過 Azure Blob CSI 驅動程式使用 BlobFuse2 | 你的應用程式會透過 Linux 的檔案系統路徑讀取 Blob 資料。 | 設定 BlobFuse2 唯讀磁碟區;保留現有的檔案讀取程式碼。 |
| 原生 Python 用戶端 | 你需要明確的同步或非同步快取操作。 | 匯入並呼叫 DACS 用戶端。 |
| Run:ai Model Streamer | 你的應用程式使用 Run:ai Model Streamer 來載入模型資料。 | 設定模型載入工作流程的 DACS 整合。 |
關於檔案系統設定及標準儲存的測量結果,請參見 使用 BlobFuse2 進行雲端儲存的分散式加速。 關於 Python 用戶端的設定與範例,請參見「使用 Python 用戶端搭配雲端儲存的分散式加速器」。
不支援直接存取 Hugging Face 來源。 使用雲端儲存分散式加速器之前,請將模型資料放入 Azure Blob 儲存體。
快取語意
在部署分散式加速器用於雲端儲存前,請先了解以下行為:
- 持久性:快取資料為暫時性資料,不會透過複寫來確保持久性。 遺失快取節點可能會導致該節點上儲存的區塊遺失;遺失的資料則會從 Azure Blob 儲存體 再次取得。
- 權威資料來源:Azure Blob 儲存體仍是具權威性的資料來源。 不要將 DACS 作為模型檔案或資料集的唯一副本。 偏好不可變、版本化的 Blob 路徑來進行模型升級。
- 驅逐: 快取在容量達到門檻時會驅逐資料。 遭收回的資料會視需要重新擷取。
- 備援:缺少發現設定或快取不可用,可能導致用戶端直接從 Azure Blob 儲存體 讀取資料。 驗證客戶端快取命中次數與成功伺服器請求計數器的增加,而非將成功讀取 Blob 視為快取的證明。 請參見 驗證 DACS 請求路徑。
- 身份:工作負載使用 Microsoft Entra 身份或共享存取簽章(SAS)來存取 Azure Blob 儲存體。 使用工作負載所需的最低權限角色。
- 網路: 快取流量會保留在 AKS 網路內。 必須允許存取 Azure Blob 端點以進行快取未命中與備援。
- 信任邊界: 在受信任叢集中使用 DACS。 快取不會隔離彼此不信任的租戶。
開源專案
DACS 是一個由 Azure AI Platform 與 Azure 儲存體 協作開發的開源專案。 該專案將快取實作開放給檢查、實驗及社群貢獻,以減少重複讀取資料,而非取代持久性儲存。
Azure DACS 存放庫包含快取伺服器、原生 C/C++ 用戶端、Python 配接器、Rust 包裝器、Kubernetes 圖表與控制器,以及部署範例。 請參閱倉庫 README 以獲得開源相容性與設定指引,並利用其貢獻指引分享可重現的問題、工作負載測量與改進。
開源專案與 Azure 管理的預覽版在部署與支援範圍上有所不同。 若要使用受控 AKS 體驗,請依照 Azure 快速入門;存放庫部署選項並不是受控版本中自動支援的功能。
預覽支援與限制
下表總結了初步預覽範圍。
| Area | 預覽範圍 |
|---|---|
| 協調器 | AKS |
| [工作負載] | 主要是推論模型載入;重複讀取資料集以進行訓練 |
| 原點 | Azure Blob 儲存體 |
| 快取媒體 | Linux 快取節點上的本機 NVMe |
| Scale | 最多可達 100 個節點 |
| CPU架構 | x64 與 Arm64 |
| Network | 乙太網路;支援的 VM 大小可使用 InfiniBand |
| 熱身 | 隨需填入與預先擷取 |
| 冷讀取協調 | 不會協調並行的冷讀取作業 |
| 安裝 | 透過 Azure CLI 啟用的獨立 DACS 受控擴充功能 |
| Upgrade | 適用各版本的相容性與升級指引 |
| Price | 沒有 DACS 軟體費用;Azure VM、Blob 儲存體 和網路費用仍然適用 |
何時使用其他儲存選項
當您的工作負載需要 DACS 範圍外的功能時,請使用其他 Azure 儲存選項:
- 關於本機 NVMe 上的 Kubernetes 持續性磁碟區,請參閱 Use Azure Container Storage with local NVMe。
- 如需持久性區塊磁碟區,請參閱搭配彈性 SAN 使用 Azure 容器儲存體。
- 關於管理式平行檔案系統,請參閱 What is Azure Managed Lustre?。
- 若要直接存取物件且不使用分散式快取,可以使用 Azure Blob 儲存體 用戶端函式庫。