Zacznij pracę z krzemionką Phi

Silica Phi to zaawansowany sprzętowy model języka lokalnego, który zapewnia wiele możliwości dostępnych w dużych modelach językowych (LLMs). Na urządzeniach wyposażonych w jednostki NPU model wykorzystuje technikę nazywaną dekodowaniem spekulatywne w celu przyspieszenia generowania tekstu przy użyciu mniejszego modelu roboczego, który może zaproponować wiele sekwencji tokenów i zostać zweryfikowany równolegle przez główny model.

Phi Silica jest zoptymalizowana pod kątem efektywności i wydajności na komputerach Copilot+ PC z systemem Windows (gdzie działa na układzie NPU) oraz na urządzeniach z systemem Windows 11 bez funkcji Copilot+, wyposażonych w obsługiwany układ GPU, a także można ją zintegrować z aplikacjami systemu Windows za pośrednictwem interfejsów API Windows AI w zestawie Zestaw SDK do aplikacji systemu Windows.

Ten poziom optymalizacji nie jest dostępny w innych wersjach narzędzia Phi.

Obsługiwany sprzęt

Silica Phi działa na następującym sprzęcie:

Aby uzyskać informacje o wymaganiach dotyczących sterowników procesora GPU, zobacz Wymagania dotyczące sterowników procesora GPU.

Wymagania dotyczące sterowników procesora GPU

Uruchomienie silicy Phi na procesorze GPU wymaga najnowszego sterownika zainstalowanego bezpośrednio od producenta procesora GPU. Domyślne sterowniki z instalacji Windows Update lub OEM mogą nie być wystarczające i mogą powodować awarie lub obniżoną wydajność.

Pobierz najnowszy sterownik dla sprzętu:

• NVIDIA GeForce/ RTX: sterownik NVIDIA GeForce 615.21 (beta)
• AMD Radeon: Oprogramowanie AMD: sterownik Adrenalin Edition 26.10.2

Różnice funkcji procesora GPU

Następujące funkcje zachowują się inaczej na procesorze GPU w porównaniu z procesorem NPU:

• Kompresja promptu: dostępna na NPU, ale niedostępna na GPU. Aplikacje, które opierają się na kompresji promptu w celu obsługi dłuższych okien kontekstowych, powinny uwzględniać to przy kierowaniu ich na urządzenia GPU.
• Dekodowanie spekulatywne: dostępne na serwerze NPU na potrzeby przyspieszonego generowania tekstu. Obecnie niedostępne na GPU, co może skutkować niższą przepustowością wyrażoną w tokenach na sekundę.
• Dostrajanie LoRA: adaptery LoRA muszą być trenowane w chmurze za pomocą pakietu Fine-Tuning Kit (FTK). Wnioskowanie z użyciem wytrenowanego adaptera można przetestować lokalnie za pomocą AI Dev Gallery. Ten przepływ pracy jest taki sam zarówno dla procesora NPU, jak i procesora GPU.

Dostępność i pobieranie modelu

W przeciwieństwie do modelu NPU — który jest wstępnie zainstalowany na komputerach Copilot+ PC — model Phi Silica dla układu GPU nie jest wstępnie zainstalowany na urządzeniu użytkownika. Zamiast tego model jest pobierany na żądanie przy pierwszym wywołaniu aplikacji EnsureReadyAsync. Pobierany plik ma kilka gigabajtów i odbywa się w tle przez usługę Windows Update.

Zalecany wzorzec środowiska użytkownika

Ponieważ model GPU Phi Silica jest duży, przed wywołaniem EnsureReadyAsync wyświetl okno dialogowe potwierdzenia, aby użytkownik mógł wyrazić zgodę zarówno na koszt magazynowania, jak i pobieranie w tle. Typowy wzorzec:

1. Wywołaj metodę GetReadyState i wykonaj rozgałęzienie na podstawie zwróconej wartości AIFeatureReadyState:

   • Ready — model jest zainstalowany; kontynuuj.
   • NotReady — pokaż okno dialogowe zgody (patrz poniżej), a następnie zadzwoń EnsureReadyAsync tylko wtedy, gdy użytkownik zgadza się.
   • NotSupportedOnCurrentSystem — sprzęt użytkownika nie spełnia wymagań określonych w sekcji Obsługiwany sprzęt. Zapewnij środowisko rezerwowe i, w razie potrzeby, przedstawić wymagania sprzętowe, aby użytkownik mógł podjąć świadomą decyzję o uaktualnieniu.

2. W oknie dialogowym wyrażania zgody wyjaśnij:

   • Pobrany zostanie opcjonalny model językowy (kilka GB miejsca na dysku).
   • Pobieranie odbywa się w tle za pośrednictwem Windows Update.
   • Użytkownik może monitorować postęp pobierania pod adresem Settings>Windows Update.
   • Użytkownik może później usunąć model w Ustawieniach>System>Komponenty AI, jeśli nie będzie już go chciał.

   Wskazówka

   W tekstach widocznych dla użytkownika (tekst okna dialogowego, komunikaty o stanie) należy używać określenia „model językowy” lub „opcjonalny model SI”, a nie „Phi Silica”. Większość użytkowników końcowych nie zna tej nazwy marki, a ogólne określenia lepiej oddają przeznaczenie.

3. Gdy EnsureReadyAsync postęp jest w toku, pokaż wskaźnik postępu w aplikacji. Zwrócona operacja udostępnia opcję statusu, która steruje interfejsem użytkownika ładowania; szczegółowe informacje znajdziesz w artykule Wprowadzenie do interfejsów API Windows AI.

Po zainstalowaniu modelu

Model pozostaje na urządzeniu, dopóki użytkownik go nie usunie. Użytkownicy zarządzają zainstalowanymi modelami w Ustawienia>System>Składniki AI, gdzie model Phi Silica GPU jest wyświetlany jako "AI LanguageModel". Jeśli użytkownik później usunie model, przy następnym wywołaniu GetReadyState przez aplikację zostanie zwrócone NotReady, a proces uzyskania zgody i pobierania należy powtórzyć.

Aby uzyskać szczegółowe informacje o interfejsie API, zobacz:

• microsoft.windows.ai
• microsoft.windows.ai.imaging
• microsoft.windows.ai.text

Począwszy od października 2026 r., dane wyjściowe z niektórych interfejsów API tekstu sztucznej inteligencji Windows zawierają niewidoczny znak wodny wskazujący, że tekst jest generowany przez sztuczną inteligencję.

Zintegrować krzemionkę Phi

Korzystając z lokalnego modelu językowego Phi Silica, można generować odpowiedzi tekstowe na wezwania użytkownika. Najpierw upewnij się, że masz niezbędne elementy i modele dostępne na urządzeniu zgodnie z opisem w sekcji Wprowadzenie do interfejsów API Windows AI.

Określanie wymaganych przestrzeni nazw

Aby użyć Phi Silica, upewnij się, że używasz wymaganych przestrzeni nazw:

using Microsoft.Windows.AI;
using Microsoft.Windows.AI.ContentSafety;
using Microsoft.Windows.AI.Text;

#include "winrt/Microsoft.Windows.AI.Text.h"
using namespace Microsoft::Windows::AI;
using namespace Microsoft::Windows::AI::Text;

Generowanie odpowiedzi

Ten przykład pokazuje, jak wygenerować odpowiedź na polecenie Q&A. Karta języka C# pokazuje również stosowanie niestandardowych opcji moderowania zawartości (zobacz Moderowanie zawartości za pomocą interfejsów API Windows AI).

1. Upewnij się, że model językowy jest dostępny, wywołując metodę GetReadyState i czekając na pomyślne zwrócenie metody EnsureReadyAsync .

2. Po udostępnieniu modelu językowego utwórz obiekt LanguageModel w celu odwołania się do niego.

3. Prześlij ciąg znaków do modelu przy użyciu metody GenerateResponseAsync, która zwraca pełny wynik.

if (LanguageModel.GetReadyState() == AIFeatureReadyState.NotReady) 
{ 
   var op = await LanguageModel.EnsureReadyAsync(); 
} 

using LanguageModel languageModel = await LanguageModel.CreateAsync();

string prompt = "Provide the molecular formula for glucose.";

LanguageModelOptions options = new LanguageModelOptions();
ContentFilterOptions filterOptions = new ContentFilterOptions();
filterOptions.PromptMaxAllowedSeverityLevel.Violent = SeverityLevel.Minimum;
options.ContentFilterOptions = filterOptions;

var result = await languageModel.GenerateResponseAsync(prompt, options);
 
Console.WriteLine(result.Text);

if (LanguageModel::GetReadyState() == AIFeatureReadyState::NotReady)
{
    auto op = LanguageModel::EnsureReadyAsync().get();
}

auto languageModel = LanguageModel::CreateAsync().get();

const winrt::hstring prompt = L"Provide the molecular formula for glucose.";

LanguageModelResponseResult result = languageModel.GenerateResponseAsync(prompt).get();
std::cout << result.Text().c_str() << std::endl;

Odpowiedź wygenerowana w tym przykładzie to:

C6H12O6

Umiejętności analizy tekstu

Silica Phi obejmuje wbudowane funkcje przekształcania tekstu (znane jako umiejętności analizy tekstu), które mogą dostarczać ustrukturyzowane, zwięzłe i przyjazne dla użytkownika odpowiedzi za pomocą wstępnie zdefiniowanego formatowania przy użyciu lokalnego modelu językowego.

Obsługiwane umiejętności obejmują:

• Tekst do tabeli: formatuje odpowiedź monitu w formacie tabeli ustrukturyzowanej, jeśli jest to konieczne.
• Podsumowanie: zwraca zwięzłe podsumowanie tekstu monitu.
• Przepisanie: Reformułuje treść komunikatu, aby zoptymalizować jasność, czytelność oraz, jeśli określono, ton lub styl.

W poniższych krokach opisano sposób używania umiejętności analizy tekstu.

1. Tworzenie obiektu LanguageModel
   Ten obiekt odnosi się do lokalnego modelu języka Phi Silica (pamiętaj, aby potwierdzić, że model Phi Silica jest dostępny na urządzeniu).

2. Zainicjuj obiekt specyficzny dla umiejętności
   Wybierz odpowiednią klasę na podstawie umiejętności, które chcesz zastosować, i przekaż wystąpienie LanguageModel jako parametr.

3. Wywołaj metodę, aby wykonać umiejętność
   Każda umiejętność uwidacznia metodę asynchroniczną, która przetwarza dane wejściowe i zwraca sformatowany wynik.

4. Obsługa odpowiedzi
   Wynik jest zwracany jako typowany obiekt, który można drukować lub rejestrować zgodnie z potrzebami.

W tym przykładzie przedstawiono umiejętności podsumowania tekstu.

1. Utwórz instancję LanguageModel (languageModel).
2. Przekaż ten LanguageModel do konstruktora TextSummarizer.
3. Przekaż tekst do metody SummarizeAsync i wyświetl wynik.

using Microsoft.Windows.AI.Text;

using LanguageModel languageModel = await LanguageModel.CreateAsync();

var textSummarizer = new TextSummarizer(languageModel);
string text = @"This is a large amount of text I want to have summarized.";
var result = await textSummarizer.SummarizeAsync(text);

Console.WriteLine(result.Text); 

using namespace Microsoft::Windows::AI::Text;

auto languageModel = LanguageModel::CreateAsync().get();
auto textSummarizer = TextSummarizer(languageModel);
std::string prompt = "This is a large amount of text I want to have summarized.";
auto result = textSummarizer.SummarizeAsync(prompt);

std::wcout << result.get().Text() << std::endl;

Odpowiedzialne używanie sztucznej inteligencji

Przestrzegaliśmy podstawowych zasad i praktyk opisanych w standardach odpowiedzialnej sztucznej inteligencji firmy Microsoft, aby upewnić się, że te interfejsy API są wiarygodne, bezpieczne i tworzone odpowiedzialnie. Aby uzyskać więcej informacji na temat implementowania funkcji sztucznej inteligencji w aplikacji, zobacz Odpowiedzialne tworzenie sztucznej inteligencji w systemie Windows.

Uwagi dotyczące przezroczystości procesora GPU

Aby uzyskać szczegółowe informacje o możliwościach, ograniczeniach i odpowiedzialnym korzystaniu z Phi Silica na komputerach PC innych niż Copilot+ (GPU), zobacz Nota dotycząca przejrzystości: Phi Silica na komputerach PC innych niż Copilot+.

Kluczowe różnice między wykonywaniem na NPU i GPU:

Czynniki operacyjne dla komputerów PC bez funkcji Copilot+

• Różnorodność sprzętu: Komputery PC bez funkcji Copilot+ obejmują szeroką gamę konfiguracji GPU. Wydajność będzie znacznie różnić się w tym spektrum urządzeń.
• Minimalne wymagania sprzętowe: Urządzenia muszą spełniać minimalne wymagania dotyczące karty graficznej (GPU) i pamięci, aby uruchomić Phi Silica.
• Wymagania programowe: Uruchamianie na komputerze PC bez funkcji Copilot+ wymaga zainstalowania najnowszego sterownika GPU od producenta sprzętu bezpośrednio ze strony producenta układu graficznego (NVIDIA). Domyślne sterowniki z instalacji Windows Update lub OEM mogą nie być wystarczające i mogą powodować awarie lub obniżoną wydajność.

Wydajność systemu

Omówienie wydajności na komputerach PC innych niż Copilot+

Jakość wyników modelu Phi Silica (dokładność, spójność, trafność) jest taka sama na komputerach Copilot+ i innych niż Copilot+, ponieważ wykorzystywane są te same wagi i ta sama architektura modelu. Podstawowe różnice to szybkość wnioskowania, zużycie zasobów i czas reakcji środowiska użytkownika.

Deweloperzy powinni:

• Benchmark na reprezentatywnym sprzęcie: Testowanie na różnych urządzeniach innych niż Copilot+, które odzwierciedlają docelową bazę użytkowników, w tym konfiguracje niższej klasy.
• Ustaw oczekiwania użytkowników: jasno poinformuj, że czasy odpowiedzi mogą się różnić w zależności od sprzętu urządzenia. Rozważ wyświetlanie wskaźników postępu lub strumieniowe wyświetlanie wyników częściowych.
• Zaimplementuj limity czasu i rezerwowe: w scenariuszach, w których czas odpowiedzi ma krytyczne znaczenie, zaimplementuj odpowiednie limity czasu i rozważ oferowanie opcji rezerwowych opartych na chmurze (z zgodą użytkownika).
• Monitorowanie użycia zasobów: śledzenie użycia procesora GPU, użycie pamięci VRAM i użycie pamięci systemowej podczas wnioskowania w celu identyfikowania i rozwiązywania wąskich gardeł wydajności.

Zobacz także

• Galeria deweloperów sztucznej inteligencji
• Przykłady interfejsu API sztucznej inteligencji systemu Windows