ローカルAI推論とは 、あなたや組織が管理するインフラ上で訓練済みのAIモデルを実行するプロセスのことです。 主要なWindows Serverシナリオは分散推論です。OpenAI互換モデルサーバーがWindows Server上で動作し、リモートクライアントがネットワーク経由でそのエンドポイントにリクエストを送信します。 例えば、Windows 11ワークステーション上のVisual Studio Codeは、サーバーにプロンプトを送信し、生成された出力を受け取ることができます。
組織は分散推論を用いて、複数のクライアントが共有モデルの計算にアクセスできるようにしつつ、リクエストや出力の行き先を制御します。 その制御はエンドポイントの位置、ネットワークパス、クライアント設定、モデル取得、診断、その他のサービスに依存します。
この記事は、Windows Serverの管理者や開発者がローカル推論をいつ使用するかを判断し、その選択のインフラ上の考慮事項を特定するのに役立ちます。
Windows Server上でのAI推論の仕組み
Windows Server上のローカルAI推論を用いて、リモートアプリケーションやツールはモデルサーバーのネットワークアドレスに接続し、リクエストを送信し、応答を受け取ります。 クライアントはモデルをローカルで読み込んだり実行したりしません。
このトポロジーにより、Windows Serverは独自の役割を担います。 サーバーは複数のクライアント向けに計算およびGPU容量、モデルストレージとホスティング、ネットワークアクセス、サービス運用、容量管理を集中管理します。 管理者は共有サービスとそのインフラを運用し、開発者はエンドポイントの基本URL、モデル識別子、対応API、認証方法のクライアントを設定します。
解は以下の要素を含みます:
- リモートクライアント:ネットワークを通じてプロンプトやその他のモデル入力を送信するアプリケーション、開発ツール、または管理ツールです。 クライアントはWindows 11、Windows Server、または他の対応プラットフォームで動作可能です。
- インターフェース:リクエストおよびレスポンス形式を定義するSDKまたはHTTP APIです。 多くの共有ランタイムは、例えばOpenAI互換APIを公開しています。
- モデルサーバーとモデル:訓練済みモデルを読み込み、推論リクエストをスケジューリングし、エンドポイントを通じて出力を返すサーバー指向のランタイムです。
- Windows Serverインフラストラクチャ:共有ワークロードを支持し公開する物理的なホストまたは仮想マシン、プロセッサ、メモリ、ストレージ、GPUリソース、ネットワーク、管理ツール。
エンドポイントはクライアントが使用する1つ以上のAPIフォーマットを実装しますが、互換性があるからといってすべてのエンドポイントがすべての機能をサポートするわけではありません。 クライアントは特定のルート、モデル識別子、ストリーミング動作、ツールや関数呼び出し、認証方法、またはリクエストフィールドを必要とする場合があります。 接続する前にクライアントの要件とエンドポイントの機能の両方を確認してください。
埋め込み推論は異なる境界を持っています。 アプリケーションは、モデルサーバーを呼び出す代わりに、同じデバイス上で、多くの場合はアプリケーションプロセス内で、モデルを読み込んで実行します。 Windows MLはONNXモデル向けのこのアプリケーション推論フレームワークを提供しています。 Foundry Localはオンデバイスワークフローもターゲットにしています。 FoundryローカルSDKはアプリケーションにランタイムを組み込み、コマンドラインインターフェースでモデルとローカルサービスを1台のデバイスで管理します。 これらのオプションはWindows Serverハードウェア上で動作可能ですが、管理者が複数のクライアントに対して中央管理を行う分散推論サービスを提供するものではありません。
推論アプローチを選びましょう
推論がどこで実行されるか、モデルを必要とするクライアント数、ランタイムを誰が操作するかに基づいてアプローチを選択します。 Windows Serverを共有エンドポイントとして使い、リモートクライアント向けにモデルと計算を集中管理しましょう。 このアプローチはネットワーク、セキュリティ、容量、可用性の要件を追加します。 あるいは、Windows Serverで組み込みまたはオンデバイス推論を用いて、1つのアプリケーションやデバイスがランタイムとモデルのライフサイクルを所有するべき場合もあります。
| Approach | 最適 | 運用モデル | 重要な境界線 |
|---|---|---|---|
| Windows Server エンドポイント | 中央運用チームが管理するモデルサービスを消費する複数のリモートアプリケーションやツール | Windows Server上のモデルサーバーは、モデルの読み込み、リクエストスケジューリング、並行性、APIを所有します。 リモートクライアントは、組織が承認したエンドポイントベースのURL、モデル識別子、認証設定を使用します。 | 選択した製品は、ランタイムのインストール、エンドポイント展開、APIサポート、スケール特性を決定します。 この記事はエンドポイントが存在し、クライアントが到達できると仮定しています。 |
| Windows ML | 同じデバイス上でONNXモデルを実行するWindowsアプリケーション | このアプリケーションは、WindowsがサポートするONNXランタイムを、共有システムコンポーネントとして、またはアプリケーションと一体化して使用します。 オプションの実行プロバイダーは利用可能なCPU、GPU、またはNPUリソースを使用します。 | Windows MLはアプリケーション推論フレームワークであり、OpenAI互換のモデルサーバリングエンドポイントではありません。 実行提供者、ドライバー、ハードウェア、モデルの要件は異なります。 |
| Foundry Local | 単一デバイス、オンデバイス推論、キュレーションされたモデルカタログを必要とするアプリケーションや開発ワークフロー | アプリケーションは通常、SDKを通じて推論をプロセス中に実行します。 FoundryローカルCLIはモデルとデバイス上のローカルサービスを管理できます。 | Foundry Localはサーバーハードウェア上で動作しますが、その設計はマルチユーザーサーバー推論を対象としていません。 多くの同時クライアントに対して、並行リクエストキューイング、連続バッチ処理、効率的なGPU共有を提供しません。 |
これらのアプローチは組織内で排他的ではありません。 あるアプリケーションはWindows MLを通じてONNXモデルを埋め込み、開発者は1つのワークステーションでFoundry Localを使用し、リモート開発ツールやビジネスアプリケーションはWindows Server上の共有エンドポイントを使うかもしれません。 各パスを独自のモデル、ハードウェア、セキュリティ、サポート要件を持つ別個のワークロードとして扱います。
AI推論のためのWindows Serverインフラを計画する
モデルアーキテクチャ、パラメータ数、量子化、コンテキスト長、要求同時実行、レイテンシターゲットが必要な計算量とメモリを決定します。 一部のモデルはCPUで動作し、他のワークロードはGPUアクセラレーションの恩恵を受けています。 すべての推論解にGPUが必須条件というわけではありません。
物理的なWindows Serverホスト上のワークロードの場合、ランタイムはWindows ServerやハードウェアベンダーがサポートするハードウェアやAPIを使用できます。 Hyper-V 仮想マシンのワークロードに対しては、適切なGPU仮想化オプションを選択してください。 Windows ServerにおけるGPUアクセラレーションの計画は、直接ホストアクセス、ディスクリートデバイス割り当て(DDA)、GPUパーティショニング、Windowsコンテナシナリオを比較します。 GPUのパーティション分割はWindows Server 2025以降で利用可能で、オプションのインフラストラクチャオプションです。
また、以下のリソースも計画してください:
- メモリとGPUメモリ:ロードされたモデル、コンテキストおよびキャッシュ要件、同時要求、その他のプロセスを考慮します。
- ストレージ:モデルファイル、ランタイムパッケージ、ログ、一時データの容量およびアクセス制御を提供します。 モデル取得には、推論がローカルで実行されていても外部ネットワーク接続が必要になることがあります。
- ネットワーク:共有エンドポイントの場合、クライアントとエンドポイント間の帯域幅と遅延を推定します。 どのネットワークやホストがサービスに到達できるかを定義します。
- 可用性と容量:エンドポイントが利用不能または満員で動作している場合のクライアントの挙動を決定してください。 本番環境で使用する前に、代表的なモデルやリクエストで同時実行性とスループットを検証してください。
Windows Server上でのAI推論の安全と運用
ローカル配置自体がセキュリティ境界を提供するわけではありません。 プロンプト、取得データ、モデルファイル、出力、ログ、診断がその範囲内に含まれなければならない境界を定義し、その境界に対してすべてのコンポーネントを検証します。
承認されたTLS設定でネットワークトラフィックを保護し、クライアントを認証・認可し、ネットワーク制御でエンドポイントへのアクセスを制限し、認証情報を承認された秘密ストアに保存します。 他のユーザーが読めるソースファイルやツール設定に認証情報を入れないでください。 モデルファイルを展開する前に、モデルライセンスや取得ソースを必ず確認してください。
モデルの出力を検証してから、それに頼ってください。 重要な行動や決定に対して適切な人間の監督を維持します。
必要な運用をサポートするWindows Admin Centerを含め、確立された管理ツールを通じてWindows Serverインフラを管理しましょう。 モデルのライフサイクルおよびエンドポイント固有の操作については、ランタイムドキュメントに従ってください。 最低限、エンドポイントの健康状態、リクエスト遅延、スループット、障害、CPUとメモリの使用量、GPUの使用率や該当する場合のメモリ使用量、ストレージ容量を観察する計画を立ててください。 利用可能な指標や管理操作は実行時間によって異なるため、本記事では単一の観察可能性実装を規定しているわけではありません。
一般的な局所AI推論シナリオ
ローカル推論は、推論経路を組織の選択範囲内に保ちながら、開発者、管理者、アプリケーションのワークロードをサポートできます。
- コーディング支援:Windows 11のVisual Studio Codeなどの対応開発ツールを、Windows Server上の既存エンドポイントに接続し、コードの説明、生成、レビュー、トラブルシューティングを行います。 ソースコードとプロンプトはネットワークを通じてそのエンドポイントに届くため、ネットワークパス、エンドポイント、およびそのオペレーターをデータ境界内に含めてください。
- 管理支援:管理ツールをコマンドを説明したり提案したりできるモデルに接続します。 生成されたコマンドを確認し、特にシステム状態が変わった場合は、実行前にその効果を理解してください。
- 文書処理:アプリケーションを使ってローカルモデルで文書を要約、分類、抽出、またはインデックス化します。 アプリケーションは、文書のソースおよび生成された出力の承認を引き続き担当します。
- 会話型アプリケーション:既存のアプリにチャットや質問応答の体験を追加しましょう。 アプリケーションはモデルエンドポイントと認可されたエンタープライズデータを組み合わせることができますが、モデルとは独立してアクセス制御を強制しなければなりません。