Kompilowanie i buforowanie modeli ONNX w usłudze Windows ML

Kompilacja to etap, w którym model ONNX jest przekształcany w plik binarny specyficzny dla danego sprzętu, który jest faktycznie uruchamiany przez dostawcę wykonania (EP). W przypadku jednostek NPU i procesorów GPU krok ten może potrwać od kilku sekund do kilku minut w przypadku dużych modeli — a jeśli aplikacja nie buforuje wyniku, użytkownicy płacą ten koszt za każdym razem, gdy aplikacja się uruchamia.

Na tej stronie wyjaśniono, co obejmuje kompilacja, kiedy należy wstępnie skompilować i jak Windows ML buforuje skompilowany artefakt.

Dwa rodzaje kompilacji

"Kompilacja" może oznaczać dwie różne rzeczy. Oddzielenie ich sprawia, że reszta tej strony jest łatwiejsza do rozumowania:

• Optymalizacja grafu — łączenie, stałe składanie i układ pracy wykonywane przez środowisko uruchomieniowe ONNX podczas tworzenia sesji. Jest to tanie, niezależne od EP i uruchamiane za każdym razem, gdy tworzysz sesję.
• Kompilacja EP — konwersja grafu ONNX na własny format EP, a następnie kompilacja w dół do pliku binarnego specyficznego dla sprzętu. Sprzętowe EP (QNN, OpenVINO, VitisAI, NvTensorRtRtx, MIGraphX) wykonują to i jest to kosztowny etap. Na jednostkach NPU może to zająć od kilkudziesięciu sekund do kilku minut w przypadku większych modeli.

Windows ML unika ponownego ponoszenia kosztu kompilacji EP dzięki mechanizmowi EPContext środowiska ONNX Runtime. Pierwsza kompilacja serializuje plik binarny gotowy do uruchomienia na sprzęcie do modelu *_ctx.onnx (lub do pliku sidecar .bin); późniejsze sesje ładują wstępnie zbudowany plik binarny i całkowicie pomijają konwersję.

Dlaczego warto wstępnie skompilować?

Windows ML zdecydowanie zaleca wstępne kompilacje podczas korzystania z dostawców wykonywania. Prekompilacja sprowadza wielosekundowy — a czasem nawet wielominutowy — zimny start do jednorazowego kosztu i daje aplikacji:

• Szybkie zimne starty — kolejne uruchomienia pomijają konwersję grafu i kompilację sprzętu.
• Przewidywalne zachowanie — niezgodność wersji sterownika, SDK lub EP objawia się jawnym INVALID_GRAPH błędem, który można obsłużyć, zamiast powodować niewidoczne spowolnienia.
• Mniejsze zużycie procesora i baterii — przestajesz ponownie kompilować ten sam graf przy każdym uruchomieniu.

Bez wstępnej kompilacji aplikacja ponownie uruchamia konwersję EP i kompilację podczas każdej sesji tworzenia, a użytkownicy czują opóźnienie za każdym razem.

Kiedy kompilować wstępnie

Kompiluj wstępnie za każdym razem, gdy aplikacja jest przeznaczona dla sprzętowego EP. Dostępne są dwie opcje ustawienia czasu:

Kompilowanie na pierwszym uruchomieniu to wzorzec pokazany w przewodniku Windows ML. Używa OrtModelCompilationOptions.CompileModel() (dostępnego w module ONNX Runtime dostarczanym z Windows ML, ORT 1.22 lub nowszym) do utworzenia skompilowanego artefaktu obok modelu i ponownego wykorzystania go przy każdym kolejnym uruchomieniu. Aby zapoznać się z interfejsem API w kontekście, zobacz Kompilowanie modeli.

Skompilowane modele są specyficzne dla urządzenia

Skompilowany model jest powiązany z konkretnym EP, dla którego został skompilowany.

Skompilowane modele mogą wymagać ponownego kompilowania

Aktualizacje EP i aktualizacje sterowników mogą spowodować, że wcześniej skompilowany model nie będzie już prawidłowy. Zalecamy, aby po zmianie wersji ep lub sterownika deweloperzy przetestowali wcześniej skompilowany model (ładując sesję wnioskowania) i zweryfikowali dane wyjściowe, w przeciwnym razie ponownie skompilowali dane wyjściowe. Przewidź unieważnianie pamięci podręcznej: wychwyć błędy INVALID_GRAPH z sesji i skompiluj ponownie, aby odświeżyć artefakt zapisany w pamięci podręcznej. Typowe wyzwalacze obejmują:

• Zainstalowano nowy EP.
• Sterownik procesora GPU lub procesora NPU jest aktualizowany.
• Zmiany sprzętowe użytkownika.

Jeśli aplikacja jest dystrybuowana na różnych urządzeniach, zapisz skompilowane artefakty w lokalnej lokalizacji pamięci podręcznej, aby każde urządzenie tworzyło własne dane binarne i używało ich ponownie.

Kompilowanie modeli

Przed użyciem modelu ONNX w sesji wnioskowania często należy ją skompilować w zoptymalizowaną reprezentację, która może być wydajnie wykonywana na podstawowym sprzęcie urządzenia.

Od wersji ONNX Runtime 1.22 istnieją nowe interfejsy API, które lepiej hermetyzują kroki kompilacji. Więcej szczegółów można znaleźć w dokumentacji kompilowania środowiska uruchomieniowego ONNX (zobacz OrtCompileApi struct).

// Prepare compilation options
OrtModelCompilationOptions compileOptions = new(sessionOptions);
compileOptions.SetInputModelPath(modelPath);
compileOptions.SetOutputModelPath(compiledModelPath);

// Compile the model
compileOptions.CompileModel();

const OrtCompileApi* compileApi = ortApi.GetCompileApi();

// Prepare compilation options
OrtModelCompilationOptions* compileOptions = nullptr;
OrtStatus* status = compileApi->CreateModelCompilationOptionsFromSessionOptions(env, sessionOptions, &compileOptions);
status = compileApi->ModelCompilationOptions_SetInputModelPath(compileOptions, modelPath.c_str());
status = compileApi->ModelCompilationOptions_SetOutputModelPath(compileOptions, compiledModelPath.c_str());

// Compile the model
status = compileApi->CompileModel(env, compileOptions);

// Clean up
compileApi->ReleaseModelCompilationOptions(compileOptions);

import os

input_model_path = "path_to_your_model.onnx"
output_model_path = "path_to_your_compiled_model.onnx"

model_compiler = ort.ModelCompiler(
    options,
    input_model_path,
    embed_compiled_data_into_model=True,
    external_initializers_file_path=None,
)
model_compiler.compile_to_file(output_model_path)
if not os.path.exists(output_model_path):
    # For some EP, there might not be a compilation output.
    # In that case, use the original model directly.
    output_model_path = input_model_path

Zobacz także

• Przyspieszanie modeli sztucznej inteligencji za pomocą usługi Windows ML — omówienie dostawców wykonywania i przyspieszania sprzętowego
• Przewodnik po Windows ML — kompleksowy przykład obejmujący cały proces, w tym kompilację przy pierwszym uruchomieniu
• Uruchamiaj modele ONNX — interfejs OrtModelCompilationOptions API w kontekście
• Dostawcy wykonania Windows ML — wersje dostawców wykonania (EP), na które może być ukierunkowana Twoja aplikacja
• Architektura kontekstu EP(dla autorów EP) — projekt ONNX Runtime stojący za artefaktem *_ctx.onnx