工作項目過濾是 Durable Task Scheduler 中的一種路由功能,僅將每個工作項目交付給宣告他們承載相應協調或活動的工作者。 生產工作流程常結合不同計算需求的步驟,如輕量協調、大規模活動及專業處理。 如果沒有辦法獨立路由每個步驟,這些步驟就會爭奪相同的容量,或迫使你為每個步驟建立獨立的協調基礎設施。
這種路由方式依賴 扁平網路 拓撲:每個工作節點都主動對外連線到排程器,而不是直接連線到其他工作節點。 因此,排程器會為您協調路由,您無需自行建置及操作服務探索、入站連接埠或專用通訊層。
在本文中,你會學習何時使用工作項目篩選,以及排程器如何將每個步驟導向適合的計算。
何時使用工作項目篩選
當單一工作流程的步驟執行時需求不同時,工作項目篩選最為有用。 沒有它,每個步驟都會共用同一個運算資源池,因此你必須依照整個工作流程中需求最高的步驟來配置規模,而專用或持續運作的元件則會與其他所有元件爭用資源容量。 以下情境說明如何將每個步驟路由到適合它的計算器來解決這個問題。
混合永久在线與可縮減為零的運算
應用程式的某些部分會持續執行,而其餘部分在閒置時則不應產生成本。 透過工作項目篩選,你可以將每個步驟放在符合其工作負載的計算層級。
- 在已就緒的運算資源(例如 Azure Kubernetes Service (AKS))上執行常時啟用元件,讓協調流程立即啟動。
- 在 Azure 容器應用程式 或 Azure Functions 等無伺服器運算環境上執行突發型、事件驅動的元件;當工作負載到來時,系統會從零擴展,待工作負載消退後再縮回零。
篩選機制可確保每個層級只會提取其所託管的工作負載,因此突發性元件絕不會排擠持續運作的元件,而可縮減至零的運算資源也只會為其所屬的活動啟動。 關於自動縮放的細節,請參閱 Configure autoscale for Azure 容器應用程式.
Azure Kubernetes Service 上一律保持啟用的協調器背景工作角色,以及 Azure 容器應用程式或 Azure Functions 上可縮減至零的活動背景工作角色,都會對長期工作排程器建立對外連線。
依各活動步驟適當配置運算資源
當某個步驟所需的記憶體或 CPU 明顯高於其他步驟時,若整個部署都依照該步驟的需求來配置規模,就會浪費資源。 工作項目篩選讓你能在單一工作流程中分配每個步驟的資源。
- 為該資源需求高的活動(例如將大型資料集載入記憶體的資料彙總步驟)在較大規格的 SKU 上配置專屬工作者,並且只在該處註冊該活動。
- 在規模較小、成本較低的背景工作角色上執行其他所有步驟。
你要根據每個工人的工作量來調整規模,而不是為了滿足最大步驟的需求而調整單一統一部署。
小型 SKU 工作者處理輕量級活動,大型 SKU 工作者處理記憶體密集型活動,所有工作者皆透過持久任務排程器路由。
將工作路由至專用硬體
工作流程中的某個步驟可能需要專用硬體,而其他應用程式則不需要。 例如,一個工作流程主要在 Azure Functions 執行,但有一步需要 GPU 來執行 AI 模型。 排程器會將該步驟派遣給在 GPU 啟用基礎架構上運行於 Azure 容器應用程式 的工作者,工作流程則繼續在 Azure Functions 中進行。
部署一個 GPU 支援的工作器,只記錄 GPU 活動,其他工作流程則保留在標準運算上。 排程器會將每個活動的工作項目分派給專為其打造的工作者,因此 GPU 基礎架構只會執行需要 GPU 的工作。
客戶端會在持久任務排程器中啟動工作流程。 Azure Functions 負責編排和 CPU 活動,而啟用 GPU 的 Azure 容器應用程式 工作者則負責 GPU 活動。
工作項目篩選的運作方式
Durable Task Scheduler 將協調執行拆解為稱為 工作項目的離散工作單元。 主要有三種工作項目:
- 編排工作項目:執行協調器程式碼來協調工作流程。
- 活動工作項目:執行執行實際工作的個別活動函數,例如驗證訂單或出貨。
- 實體工作項目:對排程器依註冊實體名稱路由的持久實體執行操作。
工作者是指任何連接到排程器以拉取並執行工作項目的程序。 背景工作角色可以裝載協調流程、活動、實體,以及任意組合。
當單一工作者或一群相同的工作者註冊工作流程中的每一項任務時,將任何工作項目交付給任何連線的員工,效果良好。 工作項目過濾給你一個替代方案:你可以將特定工作項目導向給特定的工作者。 每個工作者只註冊它所承載的任務,排程器只將與其匹配的工作項目路由到它。
背景工作角色啟動時,會註冊其本機工作,並選用篩選功能。 SDK 會從已註冊的任務產生篩選清單,並在工作者連線時將其傳送給排程器。 排程器會建立每個篩選器的佇列,並將每個工作項目路由到符合任務類型的佇列。 工作者只從與其篩選條件相符的隊列中拉取資料。
例如,在訂單處理工作流程中:
- Orchestrator 背景工作角色會註冊
OrderProcessingOrchestration,且僅接收協調流程工作項目。 - Validator 工作者會註冊
ValidateOrder,並且僅接收ValidateOrder活動工作項目。 - Shipper 背景工作角色會註冊
ShipOrder,並且僅接收ShipOrder活動工作項目。
路由很 嚴格。 不會後援至其他背景工作角色:
- 若沒有工作者註冊該任務,其工作項目會維持
Pending,直到有相符的工作者連線。 - 相依於該任務的協調流程會維持在
Running狀態,直到擱置中的工作項目完成。
這種嚴格確保排程員不會將工作項目交給無法處理的工作者。
Durable Task SDK 提供的工作項目過濾支援
| Durable Task SDK | 工作項目篩選 |
|---|---|
| .NET | Available |
| JAVA | Available |
| Python | Available |
| Go (Beta 版) | Available |
| JavaScript | 尚未開放 |
| PowerShell | 尚未開放 |
啟用工作項目過濾
每個工作者只註冊它所承載的任務,SDK 利用這些註冊來產生工作項目的篩選條件。 啟用工作項目過濾的方式在不同 SDK 之間略有差異。
系統會自動從每個工作者在其任務登錄中登記的項目產生工作項目過濾器,因此你不需要特別呼叫。
builder.Services.AddDurableTaskWorker()
.AddTasks(registry =>
{
registry.AddAllGeneratedTasks();
})
.UseDurableTaskScheduler(connectionString);
注意
在 .NET Durable Task SDK 中,任務登錄會自動產生工作項目過濾器。 若要覆寫產生的篩選器,或選擇停用篩選,請分別呼叫 UseWorkItemFilters(customFilters) 或 UseWorkItemFilters(null)。
Considerations
- 嚴格路由沒有後備機制。 如果沒有已連線的工作者註冊該任務,該任務的工作項目會維持在待處理狀態,而相依的協調流程也會維持在
Running狀態。 確保每個工作流程呼叫的任務,都至少由一位工作者執行。 - 升級期間註冊資訊不符。 當你拆分或重新命名任務時,請先部署承載新任務的工作者,再為依賴這些任務的協調流程進行排程。
- 監控待處理的待辦事項。 使用監視儀表板來監看擱置中的工作項目,這些項目可能表示缺少背景工作角色或背景工作角色狀況不良。
- 自動擴展。 在 Azure 容器應用程式上裝載背景工作角色時,KEDA (Kubernetes Event-driven Autoscaling) 調整規則可以根據每個背景工作角色所註冊工作項目類型的待處理工作量,調整各背景工作角色的規模。 欲了解更多資訊,請參閱 Configure autoscale for Azure 容器應用程式。