Azure における AI ワークロードのアーキテクチャ パターン

この図は、設計に含めるインテリジェント アプリケーション ワークロードの主要なコンポーネントを示しています。

設計上の考慮事項

インテリジェントなアプリケーション ワークロード アーキテクチャを設計する場合は、次の設計特性を考慮して、コンポーネントの設計と相互作用に関する情報に基づいた意思決定を行います。

有効期間と状態

Intelligence API、オーケストレーション、推論、ナレッジ レイヤーはすべて、ワークロードの有効期間中に実行される有効期間の長いサービスです。 各サービスの可用性、監視、オペレーショナル エクセレンスに投資します。

各レイヤーは異なるペースで進化するため、意図的なデプロイ調整が必要です。 Intelligence API は、安定した状態を維持し、下位互換性を維持するために徐々に進化します。 新しい機能を追加すると、オーケストレーションレイヤーとエージェントレイヤーが急速に進化します。 新しいモデルをデプロイすると、推論レイヤーが更新されます。 ナレッジ レイヤーは、データの変化に伴って継続的に進化します。

ステートレス コンポーネントは必要に応じて割り当てまたは割り当て解除できますが、ステートフル コンポーネントは、対話の間で保持されるデータを管理します。

インテリジェンス API、オーケストレーション、および推論レイヤーはステートレスであるため、インスタンスを追加することで簡単にスケーリングできます。 オーケストレーション レイヤーは、実行中に一時的な状態を保持する可能性がありますが、要求処理を超えて保持されません。 エフェメラル状態では操作の複雑さが軽減されますが、障害復旧オプションが制限されるため、再試行とべき等性を慎重に設計してください。

会話管理セッションのデータは、分から数日まで続く可能性があります。 セッションが長いほど、会話が充実しますが、コストが高くなり、プライバシー リスクが高まります。 ナレッジ レイヤーは、情報の追加、更新、または削除の際に進化するインデックスとデータベースにデータを格納します。

トレードオフ。 有効期間と状態管理の決定は、コスト、信頼性、パフォーマンスに直接影響します。 有効期間が長いステートフル コンポーネントでは、スケーリングと回復性への投資が増えますが、ステートレスなエフェメラル コンポーネントの方がコスト効率は高くなりますが、コールド スタートや外部状態の取得による待機時間が発生する可能性があります。

リーチと依存関係

Intelligence API はアーキテクチャ内で公開されている唯一のエンドポイントであり、それ以外はすべて内部のままです。 複数のリージョンにデプロイして、ユーザーをエンドポイントに近づけ、回復性を向上させることができます。

オーケストレーション レイヤーは中央に配置され、ネットワーク内で動作し、会話状態、モデル呼び出し、ナレッジ取得、ツール呼び出しなどのすべてを調整します。 ここでの障害によってシステム全体がブロックされるため、高可用性を実現します。

推論レイヤーは、外部依存関係なしで内部的に実行されます。 オーケストレーターの近くにデプロイして、待機時間を短くします。

知識とツールのレイヤーは内部ですが、外部システムに依存する場合があります。 これらの外部依存関係により、応答の品質に影響する遅延や可用性の問題が発生する可能性があります。

トレードオフ。 マルチリージョンデプロイでは、パフォーマンスと回復性が向上しますが、コストは増加します。 単一リージョンのデプロイはコスト効率が高くなりますが、リージョンから離れたユーザーの待機時間が長くなる可能性があります。

スケーラビリティと可用性

インテリジェント アプリケーションには、2 つのスケーリング パターンがあります。 インスタンスを追加することで、API、オーケストレーション、推論などのステートレス レイヤーをスケーリングします。 会話管理やナレッジスケールのようなデータ層は、読み取りレプリカ、パーティション、シャーディングなどのメカニズムを介して複数のストアにデータを分散することで拡張されます。

Intelligence API はスケールアウトして、より多くの要求を処理します。 可用性を向上させ、ユーザーをエンドポイントに近づけるために、複数のゾーンまたはリージョンにデプロイします。

オーケストレーションとエージェントのコンピューティングはシステムの中央に配置されるため、ここでの障害によってすべてがブロックされます。 インスタンスを追加し、負荷分散を使用し、フェールオーバーの準備を整え、個々のインスタンスが失敗してもシステムが実行を続けます。

推論レイヤーは、モデルに必要な内容に基づいてスケーリングされます。 需要の増加に合わせて、GPU を使用してインスタンスを追加します。 復旧中に環境をすばやく再作成するには、コードとしてのインフラストラクチャ (IaC) を使用します。

会話管理は、同時ユーザーの数に応じてスケーリングされます。 コピーとバックアップを使用して、セッション データを使用できるようにします。

ナレッジ レイヤーは、データの量とクエリの頻度に基づいてスケーリングされます。 効率的なインデックス作成とデータベースのチューニングを使用して、応答を高速に保ちます。 可用性のために複数の場所にコピーを設定します。

トレードオフ。 ステートレス コンポーネントは迅速にスケーリングできますが、コールド スタート待機時間が発生する可能性があります。 データ コンポーネントは持続性を提供しますが、スケーリングにはより多くの計画が必要です。 予想される負荷とビジネス要件に基づいて、これらの要因のバランスを取ってください。

セキュリティと責任ある AI

インテリジェント アプリケーションの各レイヤーにはさまざまなリスクがあり、独自の制御が必要です。 ツールは、実際のアクションをトリガーし、AI が認識する知識を形にし、推論によってユーザーに表示される出力を生成できます。 すべてのレイヤーでアクセスを制限し、何が起こっているかを監視し、決定がどのように行われるかを説明できることを確認します。

ツール レイヤーは、アクションが実際の結果を元に戻すことができない可能性があるため、最も高いリスクを伴います。 リスクの高い操作の場合は、人間の承認手順を追加します。 厳格な認証、最小特権アクセス、およびデータ プライバシーの適用を使用して、承認されていないアクションと PII の公開を防ぎます。 統合する前にすべてのツールを評価して、ガバナンスがワークロードの境界を超えるようにします。

ナレッジ 層には、信頼できる出力を生成するために、高品質で偏りのないデータが必要です。 適切な認証、承認、データ所在地の要件への準拠により、データ アクセスをセキュリティで保護します。 読み取り専用アクセスとネットワーク分離により、破損が防止されます。 監査証跡を使用して各応答に対して取得されたソースを記録します。このプロセスでは、意思決定を説明し、後で問題を調査できます。

推論レイヤーには、操作ロールとオーケストレーション レイヤーの ID にのみアクセスできる必要があります。 毒性やその他の安全性の問題をチェックする検証サービスを使用して出力を監視します。 デプロイ前にモデルを検証して偏りをキャッチし、運用環境で問題が発生した場合はロールバック メカニズムの準備を整えます。

この図は、設計に含めるトレーニングと微調整ワークロードの主要なコンポーネントを示しています。

設計上の考慮事項

トレーニングと微調整のワークロード アーキテクチャを設計するときは、次の設計特性を考慮して、コンポーネントの設計と相互作用に関する情報に基づいた意思決定を行います。

有効期間と状態

長期的な永続的コンポーネントを使用すると、過去のデータに対する履歴分析とモデルの再トレーニングが可能になります。 データ集計ストア、機能ストア、およびモデル レジストリは、新しいインポート、機能、およびモデル バージョンで拡張される長期的で永続的なストアです。

エフェメラル コンポーネントを使用すると、コスト効率が向上しますが、障害や再起動に慎重に対処する必要があります。 データ処理プラットフォームとトレーニング プラットフォームには有効期間の長い環境構成がありますが、そのコンピューティング リソースは一時的であり、パイプラインとトレーニング ジョブのオンデマンドで作成およびスケーリングされます。

推論レイヤーはステートレスでエフェメラルです。 必要なときにバッチ処理用にデプロイするか、頻繁にパイプラインを実行するための長期間稼働する環境としてデプロイします。 ステートレス設計により、水平スケーリングと単純な障害復旧が可能になります。

トレードオフ。 長期的な永続的なコンポーネントは、持続性と履歴コンテキストを提供しますが、継続的なメンテナンスとストレージのコストが必要です。 エフェメラルなステートレス コンポーネントは、コスト効率が高くスケーラブルですが、堅牢な障害処理が必要であり、コールド スタートからの待機時間が発生する可能性があります。

リーチと依存関係

待機時間とコストを最小限に抑えるために、データ ストア、処理、トレーニング、推論を同じリージョンに保持します。 データ所在地の要件で義務付けられている場合にのみ配布します。 ほとんどのコンポーネントは内部専用であり、攻撃対象領域が減少しますが、開発者やオペレーターにとって安全なアクセスが必要です。

さまざまな環境や地域にデータ ソースを分散できます。 これらは、トレーニング、微調整、または接地に必要なデータをインポートするための主要な依存関係です。

データ集計ストアは、データ処理プラットフォームの主な依存関係であり、データ ソースから分離します。

データ処理プラットフォームは、計算された機能を格納するために機能ストアにアクセスし、トレーニング プラットフォームはトレーニング中にアクセスします。 推論コンポーネントでは、モデルの種類と特定の要件によっては、読み取り専用アクセスが必要になる場合もあります。

トレーニング プラットフォームは、処理から生成された機能ストアと集計データに依存します。 トレーニング済みのモデルがモデル レジストリに書き込まれ、推論の依存関係になります。

モデル レジストリは、内部アクセス (モデルを記述するためのトレーニング用) と外部アクセス (AI アプリケーションが推論環境にモデルをデプロイする場合) の両方を必要とするため、一意です。 プッシュ デプロイ モデルを使用して、機密性の高いコンポーネントの外部へのアクセスを最小限に抑えます。

スケーラビリティと可用性

トレーニング コンポーネントは、データと共に拡張する必要があり、必要なときに使用できる状態を維持する必要があります。 データ集計ストア、フィーチャー ストア、モデル レジストリなどのデータ ストアは、パーティション分割、レプリケーション、効率的なインデックス作成によってスケーリングされ、時間の経過と同時に追加されるデータ、特徴、モデルが増えます。 これらのコンポーネントは、冗長性、バックアップ、フェールオーバー戦略を使用して高可用性を維持し、トレーニング プラットフォームまたは推論で必要なときにいつでもデータとモデルにアクセスできるようにします。

データ処理やトレーニングなどのコンピューティング プラットフォームのスケールは異なります。 処理やトレーニングのジョブが必要とするに応じて、オンデマンドでリソースを追加します。 IaC を使用してディザスター リカバリー中に環境の再作成を自動化し、需要の増加に応じて GPU ノードなどのコンピューティング リソースを追加します。

推論レイヤーは通常、このコンテキストでバッチ処理を処理するため、低待機時間ではなくスループットに合わせて最適化します。 リアルタイムの応答性を必要とせずに大量のデータを処理するため、コストの低いコンピューティング リソースで水平方向にスケーリングできます。

セキュリティと責任ある AI

すべてのレイヤーでセキュリティと責任ある AI に対処します。 アクセス制御、暗号化、監査で多層防御を使用します。 最小限の特権に一貫して従う: ETL はソースへの読み取り専用アクセス、モデル レジストリへのトレーニング書き込みのみ、推論読み取り専用です。 データ フローをマップして、規制対象のデータを必要なリージョンに保持し、だれが何、いつ、なぜアクセスしたかを追跡します。

データ ソースは、バイアス防止のための最も重要な制御ポイントです。 インポートしたデータがすべてのサブジェクトの種類を公平に表していることを確認します。 データがそのリージョンを離れることができない場合は、そこで ETL パイプラインを実行してコンプライアンスを維持します。

データ集計ストアと機能ストアは機密情報を保持します。 ライフサイクル全体を通じて、どのデータ サブセットにアクセスし、データ所在地ルールに従うことができるかを制御します。 計算されたすべての属性のデータ系列を追跡します。 これは説明容易性の基礎であり、モデルの予測をソース データにトレースできます。

データ処理プラットフォームは、偏りを積極的に防ぐ場所です。 承認されたデータ ストアとサービスへの送信接続を制限します。 ここでは、データの品質を検証し、不適切な表現をフィルター処理し、機密情報を難読化し、過剰に表現されたグループをダウンサンプリングしたり、低表示のグループを増やしたりして、データ分散のバランスを取ります。

トレーニング プラットフォームは、運用環境から分離するために分離する必要があります。 MLFlow などのフレームワークを使用して実行されるすべてのトレーニングをログに記録し、使用されたデータ、試したハイパーパラメーター、結果をキャプチャします。 デプロイ前に問題をキャッチするために、毎回バイアス、公平性、および説明性チェックを実行します。

モデル レジストリは、ガバナンス ゲートです。 モデルを検証できるように、サービス プリンシパルを使用し、チェックサムを発行します。 透明性を確保するために、トレーニング データ、評価、系列に関するメタデータをすべてのモデルにアタッチします。 安全性および責任あるAIに関するレビューを活用し、本番環境へのデプロイを管理します。

推論レイヤーでは、承認されたモデルのみを実行する必要があります。 分析環境内で独立して維持し、すべての出力をバイアス、毒性、その他の有害なパターンがないか継続的に監視します。