作業項目フィルタリングは、Durable Task Schedulerのルーティング機能で、対応するオーケストレーションやアクティビティをホストしていると宣言した作業者にのみ各作業項目を配信します。 本番のワークフローは、軽量な調整、大規模な活動、特殊な処理など、異なる計算ニーズを持つステップを組み合わせることが多いです。 各ステップを独立してルーティングする方法がないため、同じ容量を競い合ったり、それぞれ別の調整インフラを構築しざるを得なくなります。
このルーティングは フラットなネットワーク トポロジーに依存しており、すべてのワーカーは他のワーカーに直接接続するのではなく、スケジューラにアウトバウンド接続します。 その結果、スケジューラがサービスディスカバリーやインバウンドポート、専用の通信層を自分で構築・運用することなく、あなたのためにルーティングを調整します。
この記事では、作業項目フィルタリングをいつ使うべきか、そしてスケジューラが各ステップをどのようにそのステップに適合する計算にルーティングするかを学びます。
作業項目フィルタリングを使うタイミング
作業項目フィルタリングは、単一のワークフローのステップが異なるランタイム要件を持つ場合に最も有用です。 これがなければ、すべてのステップが同じ計算プールで動作するため、最も負荷の高いステップごとにワークフロー全体をサイズ化し、専用または常時稼働のコンポーネントが容量を争ってしまいます。 以下のシナリオは、各ステップをそれに合う計算にルーティングすることでその問題を解決する方法を示しています。
常時稼働型とゼロまでスケールするコンピュートを組み合わせる
アプリケーションの一部の部分は継続的に稼働し続けますが、他の部分はアイドル時にコストがかからないはずです。 作業項目フィルタリングを使うことで、各ステップをそのワークロードに合った計算層に配置できます。
- Azure Kubernetes Service (AKS)のような準備済みのコンピュートで常時稼働のコンポーネントを動かし、オーケストレーションをすぐに開始します。
- Azure Container AppsやAzure Functionsのようなサーバーレスコンピュートで、仕事が来るとゼロから、作業が減るとゼロに戻るバースティ型イベント駆動型コンポーネントを実行できます。
フィルタリングにより、各階層は自身が担うワークロードだけを取得できるため、突発的に負荷が高まるコンポーネントが常時稼働のコンポーネントを圧迫することはなく、scale-to-zero のコンピュートも自身が担当する処理に対してのみ起動します。 自動スケーリングの詳細については、「Azure Container Appsの自動スケーリングを構成する」をご覧ください。
Azure Kubernetes Service 上の常時稼働するオーケストレーター ワーカーと、Azure Container Apps または Azure Functions 上のゼロまでスケールするアクティビティ ワーカーは、それぞれ Durable Task Scheduler にアウトバウンド接続します。
活動ステップごとに適切なサイズ計算
あるステップが他のステップよりもはるかに多くのメモリやCPUを使用すると、そのステップ全体の展開サイズを設けるとリソースが無駄になります。 作業項目フィルタリングは、単一のワークフロー内で各ステップごとにリソースを割り当てることを可能にします。
- 要求の高い活動、例えば大規模なデータセットをメモリにロードするデータ集約ステップを、より大きなSKU上で独自のワーカーとして割り当て、その活動のみを登録します。
- 1つおきのステップは、より小規模で低コストなワーカーで実行しましょう。
最大のステップの要件を満たすために単一の一律なデプロイメントをスケールするのではなく、各ワーカーが処理する作業内容に応じて適切なサイズにします。
小規模SKUワーカーは軽量な活動を担当し、大規模なSKUワーカーはメモリ集約的な作業を担当し、すべてのワーカーはDurable Task Schedulerを通じてルーティングされます。
作業を専用ハードウェアにルーティングする
ワークフローの一歩でも、他のアプリケーションには必要ない特殊なハードウェアが必要になることがあります。 例えば、ワークフローは主にAzure Functionsで動作しますが、AIモデルを動かすためにGPUが必要なステップがあります。 スケジューラはそのステップをGPU対応インフラストラクチャ上のAzure Container Appsで動作するワーカーにディスパッチし、ワークフローはAzure Functionsで継続されます。
GPU対応のワーカーを展開し、GPUの活動のみを登録し、他のワークフローは標準的なコンピュートで管理します。 スケジューラは各アクティビティの作業項目をその作業用に構築されたワーカーにルーティングするため、GPUのインフラは必要な作業だけを実行します。
クライアントはDurable Task Schedulerでワークフローを開始します。 Azure FunctionsはオーケストレーションとCPUの活動を担当し、GPU対応のAzure Container AppsワーカーがGPUの活動を担当します。
作業項目フィルタリングの仕組み
Durable Task Schedulerは、オーケストレーション実行を ワークアイテムと呼ばれる作業単位に分割します。 主に3つの作業項目の種類があります。
- オーケストレーション作業項目:ワークフローを調整するオーケストレーターコードを実行します。
- アクティビティ作業項目:注文の検証や発送など、実際の作業を行う個別のアクティビティ機能を実行します。
- エンティティ作業項目:スケジューラが登録エンティティ名でルーティングする耐久性のあるエンティティに対して操作を実行します。
ワーカーとは、スケジューラに接続して作業項目を引き出して実行するプロセスのことです。 ワーカーはオーケストレーション、アクティビティ、エンティティ、またはそれらの組み合わせをホストすることができます。
作業項目を接続されたワーカーに提供することは、単一のワーカーまたは同一のワーカーグループがワークフロー内のすべてのタスクを登録するときにうまく機能します。 ワークアイテムフィルタリングは代替手段を提供します。特定のワークアイテムを特定のワーカーにルーティングできます。 各ワーカーはホストするタスクのみを登録し、スケジューラは対応する作業項目のみをルーティングします。
ワーカーが起動すると、ローカルタスクを登録し、フィルタリングへの参加をオプトインします。 SDKは登録されたタスクからフィルターリストを生成し、ワーカーが接続するとスケジューラに送信します。 スケジューラはフィルターごとにキューを作成し、タスクタイプに合致するキューに各作業項目をルーティングします。 ワーカーは、自身のフィルターに一致するキューからのみ取り出します。
例えば、注文処理のワークフローでは:
- オーケストレーターワーカーは
OrderProcessingOrchestrationを登録し、オーケストレーション作業項目のみを受け取ります。 - バリデーターワーカーは
ValidateOrderを登録し、ValidateOrder活動作業項目のみを受け取ります。 - 荷主作業員は
ShipOrderを登録し、ShipOrder活動作業項目のみを受け取ります。
ルーティングは 厳格です。 他の労働者に頼るための後ろ盾はありません:
- もしワーカーがタスクを登録しなければ、そのワークアイテムは対応するワーカーが接続するまでずっと
Pendingのままです。 - そのタスクに依存するオーケストレーションは、保留中の作業項目が完了するまでその
Running状態のままです。
この厳格さにより、スケジューラーは作業項目を処理できない作業員に渡すことが決してありません。
Durable Task SDKによるワークアイテムフィルタリングのサポート
| Durable Task SDK | 作業項目のフィルター処理 |
|---|---|
| .NET | Available |
| Java | Available |
| Python | Available |
| Go (ベータ版) | Available |
| JavaScript | 現時点では利用不可 |
| PowerShell | 現時点では利用不可 |
作業項目フィルタリングを有効にする
各ワーカーはホストするタスクのみを登録し、SDKはその登録を使ってワーカーのワークアイテムフィルターを生成します。 作業項目フィルタリングの有効化はSDKによって若干異なります。
システムは各ワーカーがタスクレジストリに登録したものから自動的に作業項目フィルターを生成するため、明示的な呼び出しは不要です。
builder.Services.AddDurableTaskWorker()
.AddTasks(registry =>
{
registry.AddAllGeneratedTasks();
})
.UseDurableTaskScheduler(connectionString);
Note
.NET Durable Task SDKでは、タスクレジストリが自動的に作業項目フィルターを生成します。 生成されたフィルターを上書きしたり、フィルタリングを解除したりするには、それぞれ UseWorkItemFilters(customFilters) または UseWorkItemFilters(null)を呼び出してください。
Considerations
- 厳密ルーティングにはフォールバックはありません。 接続されたワーカーがタスクを登録しない場合、タスクの作業項目は保留中のまま、依存するオーケストレーションは
Running状態のままです。 ワークフローが呼び出すすべてのタスクを少なくとも1人のワーカーがホストしていることを確認しましょう。 - アップグレード中の登録ミスマッチ。 タスクを分割または名前変更する際は、新しいタスクをホストするワーカーをデプロイしてから、それに依存するオーケストレーションをスケジューリングしてください。
- 未処理のバックログを監視しましょう。 モニタリングダッシュボードを使用して、不在または異常のあるワーカーを示す保留中の作業項目を監視してください。
- 自動スケール。 Azure Container Appsでワーカーをホストする場合、KEDA(Kubernetes Event-driven Autoscaling)スケールルールを用いて、登録した作業項目タイプのバックログに基づいて各ワーカーをスケールできます。 詳細については、「Azure Container Appsの自動スケーリングを構成」をご覧ください。