Język

Wybierz, jak zadanie uruchamia model

Important

Określanie modelu dla zadania jest eksperymentalne, nieobsługiwane do użytku w środowiskach produkcyjnych i wymaga Windows ml 2.9 eksperymentalnego lub nowszego.

Zamiast tworzyć potok, można określić model dla Task. Wywołanie, które ładuje model, decyduje o tym, który silnik go uruchamia. Windows ML nigdy nie przenosi modelu z jednej ścieżki do innej, więc model, którego ścieżka nie obsługuje, kończy się niepowodzeniem zamiast przełączać się na inną.

Wybieranie źródła modelu i ścieżki wykonywania

W każdym wierszu aplikacja przekazuje załadowany model do zadania za pomocą SetModel lub za pomocą SetComposition dla wyeksportowanych grafów. Wywołanie ładowania decyduje, który silnik uruchamia model:

wywołanie load Model Jak zadanie to uruchamia
LoadModelFromPath Folder punktu kontrolnego z config.json, takim jak folder Hugging Face z wagami safetensors Windows ML kompiluje model do programów zaplecza CGC i uruchamia go na wybranym przez aplikację docelowym procesorze GPU.
LoadModelFromFile lub LoadModelFromPath Plik GGUF Taki sam jak folder punktu kontrolnego: backend CGC uruchamia go, a nie llama.cpp. Plik, którego architektura lub typy wag nie są obsługiwane przez Windows ML, kończy się niepowodzeniem z HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED).
IWinMLLlamaModelLoader::LoadModelFromFile Plik GGUF llama.cpp uruchamia go wyłącznie do generowania tekstu.
LoadModelFromFile dla każdego wyeksportowanego grafu, a następnie SetComposition Wyeksportowane .onnx grafy, artefakty CGC lub dekoder GGUF Każdy graf jest uruchamiany na zapleczu potoku, ułożonym zgodnie z opisem.

Note

Ta tabela dotyczy przekazywania modelu do zadania. Potok środowiska uruchomieniowego, który tworzysz za pomocą AddModelStage, nie obsługuje modeli GGUF; modele GGUF działają tylko za pośrednictwem interfejsów API zadań.

Important

Jeśli Windows ML uruchamia model na procesorze GPU z zapleczem CGC, najpierw wypróbuj zalecane modele. Inne modele mogą nie być ładowane lub nie działają jeszcze dobrze.

Generowanie tekstu z opublikowanych wag modelu obsługuje gęste modele dekodera jako foldery niekwantyzowanych wag safetensors lub jako pliki GGUF, ale modele spoza zalecanej listy nie zostały jeszcze zweryfikowane. Aby uruchomić plik GGUF, który Windows ML nie obsługuje, załaduj go za pomocą modułu ładującego llama.cpp.

Uruchom opublikowane wagi

Załaduj opublikowane wagi, utwórz konfigurację generowania tekstu i wywołaj SetModel z docelowym wykonaniem na GPU. Nie przekazujesz tokenizatora: Windows ML tworzy własny tokenizer modelu na podstawie jego plików i tworzysz zadanie za pomocą tego tokenizatora.

// Temporary: WinMLRuntime and the other wrapper types in the WinMLSamples.Runtime
// namespaces aren't in the Windows ML package yet. Copy the wrapper files from
// https://github.com/microsoft/WindowsML/tree/main/Samples/Runtime/shared/csharp
// into your project. A future update will include the C# APIs natively.
using WinMLSamples.Runtime;
using WinMLSamples.Runtime.Tasks;

using WinMLRuntime runtime = WinMLRuntime.Create();
using ExecutionTarget target = runtime.CreateExecutionTarget(
    ExecutionTargetKind.Gpu, ExecutionTargetPreference.Performance);

// A checkpoint folder loads with LoadModelFromPath; a single GGUF file
// loads with LoadModelFromFile.
using Model model = runtime.LoadModelFromPath(@"C:\models\qwen2.5-0.5b-instruct");

using WinMLTasks tasks = WinMLTasks.Create(runtime);
using TextGenerationConfiguration configuration =
    tasks.TextGeneration.CreateTextGenerationConfiguration();

// No SetTokenizer: SetModel creates the model's own tokenizer from its files.
using (ModelTextGenerationConfiguration modelConfiguration =
    configuration.As<ModelTextGenerationConfiguration>())
{
    modelConfiguration.SetModel(target, model, new TextGenerationModelOptions());
}

// The Task must use the configuration's tokenizer.
using Tokenizer tokenizer = configuration.GetTokenizer();
using TextGenerationTask task = tasks.TextGeneration.CreateTextGenerationTask(tokenizer);

// A TextGenerator keeps the session on a thread of its own and streams tokens.
await using TextGenerator generator = await TextGenerator.CreateAsync(tasks, task, configuration);

// Stream a reply from the generator.

Po powiązaniu każdy wzorzec tworzy tę samą sesję generowania tekstu z tym samym przesyłaniem strumieniowym, anulowaniem, liczbą tokenów i przyczynami zakończenia. Zadanie chat completion może go używać. W języku C++ wykonasz zapytanie dotyczące konfiguracji dla IWinMLModelTextGenerationConfiguration i wywołasz metodę SetModel.

Wywołaj SetLogicalCapacity po SetModel, aby ustawić największą sekwencję w tokenach przechowywaną przez sesję. Mniejsza pojemność zużywa mniej pamięci GPU. Bez niej sesja ma domyślną długość sekwencji modelu.

Buforuj skompilowane programy

Pierwsza sesja zadania korzystającego z zaplecza CGC kompiluje programy dla procesora GPU, co może potrwać wiele sekund. Ustaw katalog pamięci podręcznej programu w opcjach modelu (compiledProgramDirectorylub --program-cache w przykładach), aby zachować skompilowane programy dla późniejszych procesów.

  • Domyślnie pamięć podręczna przechowuje tylko programy— kilka megabajtów dla każdego modelu. Późniejsza sesja ponownie przygotowuje wagi z plików modelu.
  • WINML_COMPILED_PROGRAM_STORAGE_PROGRAMS_AND_WEIGHTS (--cache-weights w próbkach) również utrzymuje przygotowane wagi. Warm start jest szybszy, ale każdy program przechowuje własną kopię, więc pamięć podręczna może zajmować na dysku kilkukrotność rozmiaru modelu.
  • Model, który nie może ponownie używać skompilowanych programów, takich jak punkt kontrolny Whisper, odrzuca katalog za pomocą ERROR_NOT_SUPPORTED. Następnie zadanie kompiluje się dla każdej sesji bez pamięci podręcznej.

Uruchamianie wyeksportowanego modelu

Po wyeksportowaniu własnych grafów załaduj każdy z nich za pomocą LoadModelFromFilepolecenia , ustaw tokenizator za pomocą SetTokenizerpolecenia i opisz grafy za pomocą polecenia SetComposition. Opisujesz dane wejściowe, dane wyjściowe i stan, na przykład parę pamięci podręcznej klucz/wartość dekodera, zamiast podłączać poszczególne etapy. Każda sesja komponuje opisane modele z etapów Runtime, dzięki czemu otrzymujesz Task w kilku wierszach.

Uruchom plik GGUF za pomocą llama.cpp

llama.cpp jest wyborem specyficznym dla silnika. Windows ML używa go dla modelu tylko wtedy, gdy aplikacja ładuje model za pomocą IWinMLLlamaModelLoader (Runtime.load_llama_model w Python), i tylko w przypadku generowania tekstu.

  1. Wykonaj zapytanie do środowiska uruchomieniowego o IWinMLLlamaModelLoader. Jest obecny, gdy pakiet Windows ML zawiera aparat llama.cpp.
  2. Załaduj model i opcjonalnie mniejszy model roboczy za pomocą LoadModelFromFile modułu ładującego.
  3. Wywołaj metodę SetModel, przekazując model roboczy w opcjach modelu i wybierając metodę DRAFT_MODEL spekulacyjną. SetModel odczytuje tokenizator z pliku GGUF.

Model roboczy musi współdzielić tokenizator modelu i być ładowany za pomocą tego samego modułu ładującego.

Wdróż backend llama.cpp

Zaplecze llama.cpp jest lokalne dla aplikacji: wdrażasz jego pakiet wraz z aplikacją. Bez pakietu SetModel kończy się powodzeniem, ale pierwsze CreateSession kończy się błędem HRESULT_FROM_WIN32(ERROR_FILE_NOT_FOUND).

  • C++: dodaj odwołanie do pakietu NuGet Microsoft.Windows.AI.MachineLearning.LibLlama.Core. Kopiuje adapter llama.cpp, rdzeń llama.cpp i moduł CPU obok aplikacji. W Windows ML 2.9 pakiet znajduje się w kanale eksperymentalnym, podobnie jak główny pakiet, i zawiera kompilację llama.cpp 11847.
  • Python: zainstaluj windowsml-llama-core wheel (2.9.36a0), który musi być zgodny z wersją windowsml wheel.

Pakiet zawiera tylko zaplecze procesora CPU, więc sesja llama.cpp jest uruchamiana na procesorze CPU. Aby uzyskać akcelerację GPU, utwórz zaplecze ggml, takie jak CUDA lub Vulkan, dla tej samej kompilacji llama.cpp i wersji interfejsu API zaplecza co pakiet, a następnie umieść je obok aplikacji. Bez zaplecza GPU operacja CreateSession dla celu GPU kończy się niepowodzeniem z komunikatem HRESULT_FROM_WIN32(ERROR_NOT_SUPPORTED). Ponownie skompiluj zaplecze procesora GPU po zaktualizowaniu pakietu.

Pliki GGUF, które używają typu tensora W3_G32 z wcześniejszych wersji Windows ML, nie są już ładowane, dlatego należy je ponownie przekwantować do standardowego typu llama.cpp.

Aby zapoznać się z przewodnikiem po obu krokach, zobacz przewodnik dotyczący modeli GGUF i narzędzia llama.cpp.

Dekodowanie spekulatywne

Dekodowanie spekulatywne pozwala szybszemu źródłu roboczemu zaproponować kilka tokenów, które model weryfikuje w jednym kroku. Przy dekodowaniu zachłannym tekst pozostaje taki sam, z wyjątkiem rzadkiego niemal remisu między dwoma tokenami. W przypadku generowania tekstu z opublikowanych wag:

Method Model roboczy Behavior
NONE None Sekwencyjne dekodowanie.
MODEL Opcjonalnie Szkice z towarzyszącym modelem szkicującym ładowanym jako model roboczy, taki jak punkt kontrolny DFlash 2. Bez niego używa warstw przewidywania wielotokenowego, które model zawiera.
PROMPT_LOOKUP None Generuje tokeny, które nastąpiły po wcześniejszym wystąpieniu końca sekwencji.
DRAFT_MODEL Wymagane dla llama.cpp Oddzielny, mniejszy model. Opublikowane wagi nie obsługują tej metody.

Windows ML nigdy nie szuka samodzielnie wersji roboczej modelu. Konfiguracja może zgłaszać, czy metoda jest obsługiwana przed utworzeniem sesji, a wynik końcowy raportuje liczbę tokenów w wersji roboczej i zaakceptowanych.

Następne kroki