Język

Omówienie interfejsów API zadań uczenia maszynowego Windows ML

Important

Interfejsy API zadań uczenia maszynowego Windows są eksperymentalne i nie są obsługiwane w środowiskach produkcyjnych. Aplikacje, które próbują wypróbować te interfejsy API, nie powinny być publikowane w Microsoft Store.

Interfejsy API zadań uczenia maszynowego Windows umożliwiają wykonywanie typowych zadań sztucznej inteligencji, takich jak generowanie tekstu, konwersacje czatu, rozpoznawanie mowy i odpowiadanie na wpisywane pytania, za pośrednictwem modelu, który dostarcza aplikacja. Zadanie obsługuje tokenizację, dekodowanie, przesyłanie strumieniowe i anulowanie, dzięki czemu nie musisz samodzielnie implementować pętli tokenów. Windows nie dostarcza modelu dla tych interfejsów API: wybierasz, pakujesz i dystrybuujesz model wraz z aplikacją.

Interfejsy API zadań bazują na interfejsie API środowiska uruchomieniowego Windows ML. Windows ML 2.9 experimental umożliwia określenie modelu dla zadania zamiast tworzenia potoku. Aby zapoznać się z modelami, zobacz Znajdowanie lub trenowanie modeli.

Wskazówka

Jeśli potrzebujesz modeli sztucznej inteligencji na urządzeniach, którymi zarządza Microsoft, zobacz gotowe do użycia modele i interfejsy API sztucznej inteligencji.

Dostępne zadania

Task Do czego służy Article
Generowanie tekstu Uruchamia pętlę tokenów na modelu językowym z próbkowaniem, przesyłaniem strumieniowym, anulowaniem i opcjonalnym dekodowaniem spekulacyjnym. Generuj tekst
Uzupełnianie czatu Stosuje szablon czatu modelu do listy wiadomości i przesyła strumieniowo odpowiedź. Dopełnianie czatu
Rozpoznawanie mowy Transkrybuje dźwięk z modelu mowy i przesyła strumieniowo transkrypcję. Rozpoznaj mowę
Decyzja Odpowiada na wpisane pytanie dotyczące tekstu z prawdopodobieństwem dla każdej opcji i nie generuje tekstu. Podejmuj decyzje

Wybieranie sposobu uruchamiania modelu

To, w jaki sposób aplikacja ładuje model, decyduje o tym, jak Windows ML go uruchamia. Windows ML nie wybiera między silnikami i nigdy nie przełącza się automatycznie z jednego na drugi. Aby uzyskać szczegółowe informacje, zobacz Wybieranie sposobu, w jaki zadanie uruchamia model.

Jeśli masz Twoja aplikacja Windows ML
Opublikowane wagi jako folder punktu kontrolnego lub plik GGUF Ładuje wagi i wywołuje metodę SetModel. Kompiluje model do programów dla procesora GPU za pomocą zaplecza CGC i tworzy tokenizator z plików modelu. Model musi być obsługiwany przez Windows ML.
Grafy wyeksportowane samodzielnie Ładuje grafy, ustawia tokenizator i opisuje grafy za pomocą SetComposition. Uruchamia każdy graf na backendzie pipeline’u skonfigurowanym zgodnie z opisem, dzięki czemu nie musisz łączyć każdego etapu.
Plik GGUF, który chcesz uruchomić za pomocą llama.cpp Ładuje plik za pomocą polecenia IWinMLLlamaModelLoader i wywołuje polecenie SetModel. Uruchamia go tylko na llama.cpp w przypadku generowania tekstu. Użyj tego w przypadku modelu, którego backend CGC nie obsługuje, lub do dekodowania spekulatywnego z modelem wstępnym.

Aby uzyskać pełną kontrolę nad etapami, powiązaniami tensorowymi i opcjami zaplecza, możesz nadal tworzyć potoki samodzielnie i konfigurować zadanie ręcznie.

Requirements

  • Windows ML 2.9 w wersji eksperymentalnej lub nowszej, aby określić model dla elementu Task. Wcześniejsze pakiety nie zawierają tych interfejsów API i zmiana tylko numeru wersji pakietu nie powoduje włączenia tych interfejsów API.
  • Procesor GPU z funkcją Direct3D 12 dla modeli uruchamianych na zapleczu CGC. Te modele działają tylko na procesorze GPU, bez awaryjnego przełączenia na CPU. Na razie użyj zalecanych modeli.
  • C++, C# lub Python. Język C# wymaga tymczasowego wrappera, który kopiujesz do projektu. Przyszła aktualizacja będzie obejmować natywnie interfejsy API języka C#. Zobacz Konfigurowanie projektu.

Samples

Repozytorium przykładów Windows ML zawiera przykłady określające model dla zadania, generowania tekstu, złożonego generowania tekstu, generowania tekstu za pomocą llama.cpp, rozpoznawania mowy i podejmowania decyzji w językach C++ i Python. Przykłady języka C# obejmują generowanie tekstu, uzupełnianie czatów, rozpoznawanie mowy i decyzje. Zobacz przykłady Windows ML.

Następne kroki