批次端點

Azure Machine Learning 允許你實作 batch 端點與部署,透過機器學習模型和管線執行長時間非同步推論。 當你訓練機器學習模型或流程時,你需要部署它,讓其他人能用它搭配新的輸入資料來產生預測。 這種用模型或管線產生預測的過程稱為 推論。

批次端點會接收指向資料的指標,並以非同步方式執行工作,在計算叢集上平行處理資料。 批次端點會將輸出儲存到資料庫以供進一步分析。 在以下情況下使用批次端點:

  • 您有需要較長時間執行的昂貴模型或管線。
  • 你想要將機器學習流程運作化並重用元件。
  • 你需要對大量資料進行推論,這些資料分布在多個檔案中。
  • 你沒有低延遲的需求。
  • 你的模型輸入會儲存在儲存帳號或 Azure Machine Learning 資料資產中。
  • 你可以利用平行化。

批次部署

部署是一組用於實現端點所提供功能的資源與運算。 端點可以承載多個部署,每個部署都有自己的設定,將端點介面與部署實作細節解耦。 當呼叫批次端點時,會自動將客戶端路由到預設部署。 此預設部署可隨時設定與更改。

圖示顯示一個批次端點將請求路由到其預設部署,而多個部署共用同一端點。

Azure Machine Learning 批次端點可進行兩種部署:

模型部署

模型部署讓你能夠大規模地實務化模型推論,讓你能以長時間且非同步的方式處理大量資料。 Azure Machine Learning 透過平行化運算叢集中多個節點的推論過程,自動處理可擴展性。

在以下情況下使用 模型部署 :

  • 有些模型昂貴,推理需要更長時間。
  • 你需要對大量資料進行推論,這些資料分布在多個檔案中。
  • 你沒有低延遲的需求。
  • 你可以利用平行化。

模型部署的主要好處是,您可以使用部署至線上端點的相同資產來進行即時推斷,而且現在可以透過批次處理大規模執行這些資產。 如果你的模型需要簡單的預處理或後處理,你可以 撰寫評分腳本 來執行所需的資料轉換。

要在批次端點建立模型部署,你需要指定以下元素:

  • 模型
  • 計算叢集
  • 評分腳本(MLflow 模型可選)
  • 環境(MLflow 模型可選)

管線元件部署

管線元件部署讓你能夠將整個處理圖(或管線)操作化,以長時間且非同步的方式執行批次推論。

在下列情況下使用管線元件部署:

  • 你需要操作完整的計算圖,這些圖可以分解成多個步驟。
  • 您需要在推斷管線中重複使用訓練管線的元件。
  • 你沒有低延遲的需求。

管線元件部署的主要好處是可重用現有於平台中的元件,以及能將複雜的推論程序操作化。

要在批次端點建立管線元件部署,你需要指定以下元素:

  • 管線組件
  • 計算叢集配置

批次端點也允許你 從現有的管線工作建立管線元件部署。 在這過程中,Azure Machine Learning 會自動從該任務建立一個管線元件。 這簡化了這類部署的使用。 不過,最佳做法是一律明確建立管線元件,以簡化 MLOps 實務。

成本管理

呼叫批次端點會觸發非同步批次推論工作。 Azure Machine Learning 會在工作開始時自動配置運算資源,並在工作完成時自動分配。 這樣一來,您只需在使用時支付計算費用。

提示

部署模型時,你可以針對每個批次推論工作 覆蓋計算資源設定 (例如實例數量)和進階設定(例如迷你批次大小、錯誤閾值等)。 透過這些特定配置,你或許能加快執行速度並降低成本。

批次終端也能在低優先權的虛擬機上執行。 Batch 端點可透過重新排程受影響的小 Batch,自動從已解除配置的節點中復原。 系統會保留已完成迷你批次的作業成果,但不提供作業層級的檢查點機制。 欲了解更多關於使用低優先權虛擬機降低批次推論工作負載成本的資訊,請參閱 「在批次端點中使用低優先權虛擬機」。

Note

Azure Machine Learning 於 2026 年 3 月 31 日退休低優先權虛擬機。 要求使用低優先順序 VM 的現有設定現在會改用 Spot VM。 關於目前的定價與驅逐行為,請參見 「在批次端點中使用低優先權虛擬機」。

最後,Azure Machine Learning 不會對批次端點或批次部署本身收費,因此你可以依照自己的情況組織端點和部署。 端點與部署可以使用獨立或共享叢集,因此你可以細緻控制工作消耗的運算量。 在叢集中使用縮放為零,以確保閒置時不會消耗資源。

簡化MLOps的實務

批次端點可以在同一端點下處理多個部署,讓你可以更改端點的實作,而不必改變消費者用來調用的網址。

你可以新增、移除和更新部署,而不會影響端點本身。

圖表顯示如何在一個穩定端點 URL 下新增、更新或移除多個批次部署。

彈性資料來源與儲存

批次端點直接從儲存裝置讀取和寫入資料。 你可以指定 Azure Machine Learning 資料儲存、Azure Machine Learning 資料資產或儲存帳戶作為輸入。 欲了解更多支援的輸入選項及如何指定,請參閱 「建立工作與輸入資料至批次端點」。

安全性

批次端點提供在企業環境中操作生產層級工作負載所需的所有能力。 它們支援安全工作區上的私人網路和 Microsoft Entra 驗證,可使用使用者主體 (例如使用者帳戶) 或服務主體 (例如受控或非受控識別)。 批次端點產生的工作會以調用者的身份執行,讓你能靈活實作任何情境。 欲了解更多關於使用批次端點授權的資訊,請參閱 《如何在批次端點上進行認證》。