Windows ML ランタイム API の概要

Windows ML ランタイム API は、Windows専用に構築されたネイティブの C/C++ ローカル AI 推論フレームワークです。 Windows ML ランタイム API を使用すると、モデルの読み込み、CPU、GPU、または NPU 実行ターゲット (特定の DXCore アダプターまたは D3D12 デバイスを含む) の選択、そのターゲットへのテンソルのバインド、モデルとプロセッサのステージをパイプラインに構成、パイプラインのコンパイル、パイプラインを実行し、出力テンソルを生成することができます。

オプションのテキスト生成 API と音声認識 API は、アプリが提供するモデルを介して、これらの同じランタイム オブジェクトを上位レベルのワークフローに構成します。「Windows ML を使用して独自の言語モデルでテキストを生成する」および「Windows ML を使用して独自の Whisper モデルで音声を認識する」を参照してください。

ランタイム API と ONNX ランタイム

アプリがWindowsのみを対象とする場合で、さらに現在試験段階の API を使ってもよいなら、ランタイム API を使用してください。 ハードウェアの選択 (特定の DXCore アダプターまたは D3D12 デバイスを含む)、テンソルの常駐、マルチステージ パイプライン配置、コンパイルを明示的に制御できます。

それ以外の場合、アプリを他のプラットフォームで実行する必要がある場合、または既にクロスプラットフォームの ONNX ランタイム セッション コードが動作している場合は、代わりに Windows ML に含まれる ONNX ランタイム API を使用してください。

コア オブジェクト モデル

バックエンドと実行ターゲットを選択する

LoadModelFromFile は、モデル成果物のファイル拡張子からバックエンドを選択します。 アプリでは、ファイルを読み込むバックエンドに関係なく、同じランタイム オブジェクト (モデル、実行ターゲット、パイプライン ビルダー、ステージ、バインド、 Run ) が使用されます。

IWinMLRuntimeで作成された実行ターゲットは、ハードウェア クラス (CPU、GPU、または NPU) を表します。 ターゲットを再利用してステージを構築し、テンソルを作成します。1 つのターゲットを再利用すると同じターゲット アフィニティが表されますが、個別のターゲットを使用すると、ターゲット間の転送境界が明示的になります。 パイプライン ビルダーの Build メソッドが実行されると、ランタイムは各ステージをそのターゲットに対応する実行バックエンドに配置し、ターゲットとバックエンドの互換性を確定します。

デバイスを自分で列挙しないハードウェアクラスの場合は、CreateExecutionTarget を呼び出す際に、WINML_EXECUTION_TARGET_KIND と WINML_EXECUTION_TARGET_PREFERENCE を引数として指定します。これらは、そのクラスの候補 (統合型 GPU とディスクリート型 GPU など) の順位を表します。 ERROR_NOT_FOUNDとERROR_NOT_SUPPORTEDを同様に扱い、別のクラスにフォールバックします。

ComPtr<IWinMLExecutionTarget> target;
HRESULT hr = runtime->CreateExecutionTarget(
    WINML_EXECUTION_TARGET_KIND_NPU,
    WINML_EXECUTION_TARGET_PREFERENCE_EFFICIENCY,
    target.GetAddressOf());
if (hr == HRESULT_FROM_WIN32(ERROR_NOT_FOUND) ||
    hr == HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED))
{
    THROW_IF_FAILED(runtime->CreateExecutionTarget(
        WINML_EXECUTION_TARGET_KIND_GPU,
        WINML_EXECUTION_TARGET_PREFERENCE_PERFORMANCE,
        target.GetAddressOf()));
}
else
{
    THROW_IF_FAILED(hr);
}

CreateCpuExecutionTarget は、CPU の種類を要求することと同じです。 CreateExecutionTargetFromAdapter と CreateExecutionTargetFromD3D12 は、ランタイムに選択させるのではなく、ターゲットを特定の DXCore アダプターまたは D3D12 デバイスにバインドします。 インストールされている 実行プロバイダー (EP) に依存する ONNX モデルの場合、オプションの ONNX Runtime 互換性サーフェスを使用すると、既に登録したプロバイダーをピン留めできます。 各バックエンドは、これらのターゲットを異なる方法で処理します。たとえば、.gguf モデルで使用される llama.cpp バックエンドは、GPU ターゲットを有効にするために少なくとも部分的な GPU オフロードが必要であり、NPU ターゲットやプロバイダーの固定はサポートしていません。 バックエンドごとの完全なターゲット解像度マトリックス、GGUF モデルの実行手順については、Windows ML Runtime API の概念を参照してください。

次のステップ

• Windows ML ランタイム API の C++ プロジェクトを設定する
• Windows ML Runtime API の概念
• Windows ML を使用して独自の言語モデルでテキストを生成する
• Windows ML を使用して独自の Whisper モデルで音声を認識する
• Windows ML ランタイム API を使用してモデルを実行する