Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Important
Interfejsy API zadań uczenia maszynowego Windows są eksperymentalne i nie są obsługiwane w środowiskach produkcyjnych. Aplikacje, które próbują wypróbować te interfejsy API, nie powinny być publikowane w Microsoft Store.
Interfejsy API zadań uczenia maszynowego Windows umożliwiają wykonywanie typowych zadań sztucznej inteligencji, takich jak generowanie tekstu, konwersacje czatu, rozpoznawanie mowy i odpowiadanie na wpisywane pytania, za pośrednictwem modelu, który dostarcza aplikacja. Zadanie obsługuje tokenizację, dekodowanie, przesyłanie strumieniowe i anulowanie, dzięki czemu nie musisz samodzielnie implementować pętli tokenów. Windows nie dostarcza modelu dla tych interfejsów API: wybierasz, pakujesz i dystrybuujesz model wraz z aplikacją.
Interfejsy API zadań bazują na interfejsie API środowiska uruchomieniowego Windows ML. Windows ML 2.9 experimental umożliwia określenie modelu dla zadania zamiast tworzenia potoku. Aby zapoznać się z modelami, zobacz Znajdowanie lub trenowanie modeli.
Wskazówka
Jeśli potrzebujesz modeli sztucznej inteligencji na urządzeniach, którymi zarządza Microsoft, zobacz gotowe do użycia modele i interfejsy API sztucznej inteligencji.
Dostępne zadania
| Task | Do czego służy | Article |
|---|---|---|
| Generowanie tekstu | Uruchamia pętlę tokenów na modelu językowym z próbkowaniem, przesyłaniem strumieniowym, anulowaniem i opcjonalnym dekodowaniem spekulacyjnym. | Generuj tekst |
| Uzupełnianie czatu | Stosuje szablon czatu modelu do listy wiadomości i przesyła strumieniowo odpowiedź. | Dopełnianie czatu |
| Rozpoznawanie mowy | Transkrybuje dźwięk z modelu mowy i przesyła strumieniowo transkrypcję. | Rozpoznaj mowę |
| Decyzja | Odpowiada na wpisane pytanie dotyczące tekstu z prawdopodobieństwem dla każdej opcji i nie generuje tekstu. | Podejmuj decyzje |
Wybieranie sposobu uruchamiania modelu
To, w jaki sposób aplikacja ładuje model, decyduje o tym, jak Windows ML go uruchamia. Windows ML nie wybiera między silnikami i nigdy nie przełącza się automatycznie z jednego na drugi. Aby uzyskać szczegółowe informacje, zobacz Wybieranie sposobu, w jaki zadanie uruchamia model.
| Jeśli masz | Twoja aplikacja | Windows ML |
|---|---|---|
| Opublikowane wagi jako folder punktu kontrolnego lub plik GGUF | Ładuje wagi i wywołuje metodę SetModel. |
Kompiluje model do programów dla procesora GPU za pomocą zaplecza CGC i tworzy tokenizator z plików modelu. Model musi być obsługiwany przez Windows ML. |
| Grafy wyeksportowane samodzielnie | Ładuje grafy, ustawia tokenizator i opisuje grafy za pomocą SetComposition. |
Uruchamia każdy graf na backendzie pipeline’u skonfigurowanym zgodnie z opisem, dzięki czemu nie musisz łączyć każdego etapu. |
| Plik GGUF, który chcesz uruchomić za pomocą llama.cpp | Ładuje plik za pomocą polecenia IWinMLLlamaModelLoader i wywołuje polecenie SetModel. |
Uruchamia go tylko na llama.cpp w przypadku generowania tekstu. Użyj tego w przypadku modelu, którego backend CGC nie obsługuje, lub do dekodowania spekulatywnego z modelem wstępnym. |
Aby uzyskać pełną kontrolę nad etapami, powiązaniami tensorowymi i opcjami zaplecza, możesz nadal tworzyć potoki samodzielnie i konfigurować zadanie ręcznie.
Requirements
- Windows ML 2.9 w wersji eksperymentalnej lub nowszej, aby określić model dla elementu Task. Wcześniejsze pakiety nie zawierają tych interfejsów API i zmiana tylko numeru wersji pakietu nie powoduje włączenia tych interfejsów API.
- Procesor GPU z funkcją Direct3D 12 dla modeli uruchamianych na zapleczu CGC. Te modele działają tylko na procesorze GPU, bez awaryjnego przełączenia na CPU. Na razie użyj zalecanych modeli.
- C++, C# lub Python. Język C# wymaga tymczasowego wrappera, który kopiujesz do projektu. Przyszła aktualizacja będzie obejmować natywnie interfejsy API języka C#. Zobacz Konfigurowanie projektu.
Samples
Repozytorium przykładów Windows ML zawiera przykłady określające model dla zadania, generowania tekstu, złożonego generowania tekstu, generowania tekstu za pomocą llama.cpp, rozpoznawania mowy i podejmowania decyzji w językach C++ i Python. Przykłady języka C# obejmują generowanie tekstu, uzupełnianie czatów, rozpoznawanie mowy i decyzje. Zobacz przykłady Windows ML.