Visão geral da API do Windows ML Runtime

A API do Windows ML Runtime é um framework nativo de inferência local de IA em C/C++, construído especificamente para o Windows. Com a API do Windows ML Runtime, pode carregar um modelo, escolher um CPU, GPU ou NPU alvo de execução (incluindo um adaptador DXCore específico ou dispositivo D3D12), associar tensores a esse destino, compor os estágios do modelo e do processador num pipeline, compilar o pipeline e executá-lo para produzir tensores de saída.

As APIs opcionais de Geração de Texto e Reconhecimento de Fala compõem estes mesmos objetos de Runtime em fluxos de trabalho de nível superior sobre um modelo fornecido pela sua aplicação: veja Gerar texto com o seu próprio modelo de linguagem usando Windows ML e Reconhecer fala com o seu próprio modelo Whisper usando Windows ML.

Runtime API vs ONNX Runtime

Se a tua aplicação só tem como alvo o Windows (e estiveres disposto a usar APIs que se encontram atualmente em fase experimental), usa a API de Runtime. Proporciona controlo explícito sobre a seleção de hardware (incluindo um adaptador DXCore específico ou dispositivo D3D12), residência tensorial, colocação de pipelines em múltiplos estágios e compilação.

Caso contrário, se a sua aplicação precisar de correr noutras plataformas, ou já tiver código de sessão ONNX Runtime multiplataforma a funcionar, use as APIs ONNX Runtime incluídas no Windows ML.

Modelo de objetos do núcleo

Escolha um backend e um destino de execução

LoadModelFromFile seleciona o backend com base na extensão de ficheiro do artefacto do modelo. A tua aplicação usa os mesmos objetos de Runtime — modelo, destino de execução, construtor de pipelines, estágios, bindings, e Run — independentemente do backend que carrega o ficheiro.

Um destino de execução representa uma classe de hardware — CPU, GPU ou NPU — criada com IWinMLRuntime. Reutilizar um alvo para construir estágios e criar tensores: reutilizar um alvo expressa afinidade pelo mesmo alvo, enquanto usar alvos distintos torna explícitas as fronteiras de transferência entre alvos. Quando o método do construtor Build de pipeline é executado, o runtime coloca cada etapa no backend de execução para o seu destino e garante a compatibilidade entre o destino e o backend.

Para uma classe de hardware sem enumerar você mesmo os dispositivos, chame CreateExecutionTarget com a WINML_EXECUTION_TARGET_KIND e a WINML_EXECUTION_TARGET_PREFERENCE que classifiquem candidatos dessa classe, como uma GPU integrada versus uma discreta. Trate ERROR_NOT_FOUND e ERROR_NOT_SUPPORTED da mesma forma e recorra a outra classe:

ComPtr<IWinMLExecutionTarget> target;
HRESULT hr = runtime->CreateExecutionTarget(
    WINML_EXECUTION_TARGET_KIND_NPU,
    WINML_EXECUTION_TARGET_PREFERENCE_EFFICIENCY,
    target.GetAddressOf());
if (hr == HRESULT_FROM_WIN32(ERROR_NOT_FOUND) ||
    hr == HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED))
{
    THROW_IF_FAILED(runtime->CreateExecutionTarget(
        WINML_EXECUTION_TARGET_KIND_GPU,
        WINML_EXECUTION_TARGET_PREFERENCE_PERFORMANCE,
        target.GetAddressOf()));
}
else
{
    THROW_IF_FAILED(hr);
}

CreateCpuExecutionTarget é equivalente a pedir o tipo CPU. CreateExecutionTargetFromAdapter e CreateExecutionTargetFromD3D12 atribuem um alvo a um adaptador DXCore específico ou dispositivo D3D12 em vez de deixar o Runtime escolher um. Para modelos ONNX que dependem de um provedor de execução (EP) instalado, uma interface opcional de compatibilidade do ONNX Runtime permite-lhe fixar um provedor que já registou. Cada backend resolve estes destinos de forma diferente — por exemplo, o backend llama.cpp usado pelos modelos .gguf requer pelo menos um descarregamento parcial para a GPU para respeitar um destino GPU, e não suporta destinos NPU nem fixação do fornecedor/provedor. Para a matriz completa de resoluções de destino por backend e para um guia de execução de um modelo GGUF, consulte Windows ML Runtime API concepts.

Passos seguintes

• Configurar um projeto C++ para a API Runtime do Windows ML
• Conceitos da API do Windows ML Runtime
• Gera texto com o teu próprio modelo de linguagem usando Windows ML
• Reconheça a fala com o seu próprio modelo Whisper usando Windows ML
• Executar um modelo com a API de runtime do Windows ML