Erste Schritte mit Phi Silika

Phi Silika ist ein leistungsfähiges hardwarebeschleunigtes lokales Sprachmodell, das viele Funktionen in Großen Sprachmodellen (LLMs) bietet. Auf geräten mit NPU-Ausstattung verwendet das Modell eine Technik namens spekulative Decodierung, um die Textgenerierung mithilfe eines kleineren Entwurfsmodells zu beschleunigen, das mehrere Tokensequenzen vorschlagen und parallel durch das Hauptmodell validiert werden kann.

Phi Silica ist für Effizienz und Leistung auf Windows Copilot+ PCs optimiert (wo sie auf der NPU ausgeführt wird) und auf Nicht-Copilot+ Windows 11 Geräten mit einer unterstützten GPU und kann über die Windows KI-APIs in Ihre Windows-Apps integriert werden. Windows App SDK.

Diese Optimierungsstufe ist in anderen Versionen von Phi nicht verfügbar.

Unterstützte Hardware

Phi Silika wird auf der folgenden Hardware ausgeführt:

Informationen zu GPU-Treiberanforderungen finden Sie unter GPU-Treiberanforderungen.

GPU-Treiberanforderungen

Die Ausführung von Phi Silica auf GPU erfordert den neuesten Treiber, der direkt vom GPU-Hersteller installiert ist. Standardtreiber von Windows Update- oder OEM-Installationen sind möglicherweise nicht ausreichend und können zu Fehlern oder beeinträchtigter Leistung führen.

Laden Sie den neuesten Treiber für Ihre Hardware herunter:

• NVIDIA GeForce / RTX: NVIDIA GeForce 615.21-Treiber (Beta)
• AMD Radeon: AMD Software: Adrenalin Edition 26.10.2 Treiber

Unterschiede bei den GPU-Funktionen

Die folgenden Features verhalten sich bei GPU anders als bei NPU:

• Prompt-Komprimierung: Auf der NPU verfügbar, aber auf der GPU nicht verfügbar. Anwendungen, die auf der Aufforderungskomprimierung für längere Kontextfenster angewiesen sind, sollten dies berücksichtigen, wenn sie auf GPU-Geräte ausgerichtet sind.
• Spekulative Decodierung: Verfügbar auf NPU für beschleunigte Textgenerierung. Ist derzeit nicht auf GPUs verfügbar, was zu einem geringeren Token-pro-Sekunde-Durchsatz führen kann.
• LoRA-Feinabstimmung: LoRA-Adapter müssen in der Cloud mit dem Fine-Tuning Kit (FTK) trainiert werden. Die Inferenz mit Ihrem trainierten Adapter kann lokal mit der AI Dev Gallery getestet werden. Dieser Workflow ist für NPU und GPU identisch.

Modellverfügbarkeit und Download

Im Gegensatz zum NPU-Modell, das auf Copilot+ PCs vorinstalliert ist, ist das Phi Silica-Modell für die GPU nicht auf dem Gerät des Benutzers vorinstalliert. Stattdessen wird das Modell bei Bedarf heruntergeladen, wenn Ihre App "EnsureReadyAsync" zum ersten Mal aufruft. Der Download ist mehrere Gigabyte und wird im Hintergrund über Windows Update ausgeführt.

Empfohlenes UX-Muster

Da das Phi-Silica-GPU-Modell groß ist, zeigen Sie ein Bestätigungsdialogfeld an, bevor Sie EnsureReadyAsync aufrufen, damit der Benutzer sowohl den Speicherkosten als auch dem Download im Hintergrund zustimmen kann. Ein typisches Muster:

1. Rufen Sie GetReadyState auf und verzweigen Sie anhand des zurückgegebenen AIFeatureReadyState:

   • Ready — das Modell wird installiert; Fortfahren.
   • NotReady — Zeigen Sie Ihr Zustimmungsdialogfeld an (siehe unten), und rufen Sie EnsureReadyAsync dann nur an, wenn der Benutzer zustimmt.
   • NotSupportedOnCurrentSystem – die Hardware des Benutzers erfüllt nicht die Anforderungen in der unterstützten Hardware. Bieten Sie eine Fallbackerfahrung, und stellen Sie ggf. die Hardwareanforderungen auf, damit der Benutzer eine fundierte Upgradeentscheidung treffen kann.

2. Erläutern Sie im Zustimmungsdialogfeld Folgendes:

   • Ein optionales Sprachmodell wird heruntergeladen (mehrere GB Speicher).
   • Der Download erfolgt im Hintergrund über Windows Update.
   • Der Benutzer kann den Downloadfortschritt bei Settings>Windows Update überwachen.
   • Der Benutzer kann das Modell später unter "Settings>System>AI Components " entfernen, wenn es nicht mehr gewünscht wird.

   Tipp

   In benutzerorientierten Zeichenfolgen (Dialogtext, Statusmeldungen) verweisen Sie auf das Modell als "Sprachmodell" oder "optionales KI-Modell" anstelle von "Phi Silica". Die meisten Endbenutzer sind nicht mit dem Markennamen vertraut, und generische Begriffe kommunizieren eindeutiger.

3. Während EnsureReadyAsync ausgeführt wird, zeigen Sie in Ihrer App eine Fortschrittsanzeige an. Der zurückgegebene Vorgang macht eine Statusoption verfügbar, die eine Ladebenutzeroberfläche steuert; Weitere Informationen finden Sie unter Get started with Windows AI APIs.

Nach der Installation des Modells

Das Modell bleibt auf dem Gerät, bis der Benutzer es entfernt. Benutzer verwalten installierte Modelle bei Settings>System>AI Components, wo das Phi-Gpu-Modell als "AI LanguageModel" angezeigt wird. Wenn der Benutzer das Modell später entfernt, gibt der nächste Aufruf von GetReadyState durch Ihre App NotReady zurück, und der Zustimmungs- und Downloadablauf sollte wiederholt werden.

Api-Details finden Sie unter:

• microsoft.windows.ai
• microsoft.windows.ai.imaging
• microsoft.windows.ai.text

Integrieren von Phi-Silika

Mit einem lokalen Phi-Silika-Sprachmodell können Sie Textantworten für Benutzeraufforderungen generieren. Stellen Sie zunächst sicher, dass Sie die Voraussetzungen und Modelle auf Ihrem Gerät zur Verfügung haben, wie in den ersten Schritten mit Windows AI-APIs beschrieben.

Angeben der erforderlichen Namespaces

Um Phi Silika zu verwenden, stellen Sie sicher, dass Sie die erforderlichen Namespaces verwenden:

using Microsoft.Windows.AI;
using Microsoft.Windows.AI.ContentSafety;
using Microsoft.Windows.AI.Text;

#include "winrt/Microsoft.Windows.AI.Text.h"
using namespace Microsoft::Windows::AI;
using namespace Microsoft::Windows::AI::Text;

Erzeugen einer Antwort

In diesem Beispiel wird gezeigt, wie Sie eine Antwort auf eine F&A-Eingabeaufforderung generieren. Auf der Registerkarte "C#" wird auch das Anwenden von benutzerdefinierten Inhaltsmoderationsoptionen veranschaulicht (siehe Inhaltsmoderation mit den Windows AI-APIs).

1. Stellen Sie sicher, dass das Sprachmodell verfügbar ist, indem Sie die GetReadyState-Methode aufrufen und darauf warten, dass die EnsureReadyAsync-Methode erfolgreich zurückgegeben wird.

2. Nachdem das Sprachmodell verfügbar ist, erstellen Sie ein LanguageModel-Objekt , um darauf zu verweisen.

3. Senden Sie eine Zeichenfolgenaufforderung an das Modell mithilfe der GenerateResponseAsync-Methode , die das vollständige Ergebnis zurückgibt.

if (LanguageModel.GetReadyState() == AIFeatureReadyState.NotReady) 
{ 
   var op = await LanguageModel.EnsureReadyAsync(); 
} 

using LanguageModel languageModel = await LanguageModel.CreateAsync();

string prompt = "Provide the molecular formula for glucose.";

LanguageModelOptions options = new LanguageModelOptions();
ContentFilterOptions filterOptions = new ContentFilterOptions();
filterOptions.PromptMaxAllowedSeverityLevel.Violent = SeverityLevel.Minimum;
options.ContentFilterOptions = filterOptions;

var result = await languageModel.GenerateResponseAsync(prompt, options);
 
Console.WriteLine(result.Text);

if (LanguageModel::GetReadyState() == AIFeatureReadyState::NotReady)
{
    auto op = LanguageModel::EnsureReadyAsync().get();
}

auto languageModel = LanguageModel::CreateAsync().get();

const winrt::hstring prompt = L"Provide the molecular formula for glucose.";

LanguageModelResponseResult result = languageModel.GenerateResponseAsync(prompt).get();
std::cout << result.Text().c_str() << std::endl;

Die von diesem Beispiel generierte Antwort lautet:

C6H12O6

Fähigkeiten der Textintelligenz

Phi Silika umfasst integrierte Texttransformationsfunktionen (als Textintelligenzkenntnisse bezeichnet), die strukturierte, präzise und benutzerfreundliche Antworten über vordefinierte Formatierungen mithilfe eines lokalen Sprachmodells bereitstellen können.

Zu den unterstützten Fähigkeiten gehören:

• Text-zu-Tabelle: Formatiert die Eingabeaufforderungsantwort bei Bedarf in ein strukturiertes Tabellenformat.
• Zusammenfassen: Gibt eine knappe Zusammenfassung des Prompt-Textes zurück.
• Neu formulieren: Umformuliert den Aufforderungstext, um Klarheit, Lesbarkeit und, wenn angegeben, Ton (oder Stil) zu optimieren.

In den folgenden Schritten wird beschrieben, wie Textintelligenzkenntnisse verwendet werden.

1. Erstellen eines LanguageModel-Objekts
   Dieses Objekt verweist auf das lokale Phi-Silika-Sprachmodell (denken Sie daran, dass das Phi-Silikatmodell auf dem Gerät verfügbar ist).

2. Instanziieren des qualifikationsspezifischen Objekts
   Wählen Sie die entsprechende Klasse basierend auf der Fähigkeit aus, die Sie anwenden möchten, und übergeben Sie die LanguageModel-Instanz als Parameter.

3. Aufrufen der Methode zum Ausführen der Fähigkeit
   Jede Fähigkeit macht eine asynchrone Methode verfügbar, die die Eingabe verarbeitet und ein formatiertes Ergebnis zurückgibt.

4. Die Antwort bearbeiten
   Das Ergebnis wird als typiertes Objekt zurückgegeben, das Sie bei Bedarf drucken oder protokollieren können.

In diesem Beispiel wird die Fähigkeit zum Zusammenfassen von Text veranschaulicht.

1. Erstellen einer LanguageModel-Instanz (languageModel).
2. Übergeben Sie dieses LanguageModel an den TextSummarizer-Konstruktor .
3. Übergeben Sie Text an die SummarizeAsync-Methode , und drucken Sie das Ergebnis.

using Microsoft.Windows.AI.Text;

using LanguageModel languageModel = await LanguageModel.CreateAsync();

var textSummarizer = new TextSummarizer(languageModel);
string text = @"This is a large amount of text I want to have summarized.";
var result = await textSummarizer.SummarizeAsync(text);

Console.WriteLine(result.Text); 

using namespace Microsoft::Windows::AI::Text;

auto languageModel = LanguageModel::CreateAsync().get();
auto textSummarizer = TextSummarizer(languageModel);
std::string prompt = "This is a large amount of text I want to have summarized.";
auto result = textSummarizer.SummarizeAsync(prompt);

std::wcout << result.get().Text() << std::endl;

Verantwortungsvolle KI

Wir haben die wichtigsten Prinzipien und Praktiken befolgt, die in den Microsoft Responsible AI Standards beschrieben werden, um sicherzustellen, dass diese APIs vertrauenswürdig, sicher und verantwortungsbewusst erstellt werden. Weitere Informationen zur Implementierung von KI-Features in Ihrer App finden Sie unter Verantwortlicher generativer KI-Entwicklung unter Windows.

Hinweise zur GPU-Transparenz

Ausführliche Informationen zu den Funktionen, Einschränkungen und der verantwortungsvollen Verwendung von Phi-Silikadien auf Nicht-Copilot+ PCs (GPU) finden Sie im Transparency Note: Phi Silika auf Nicht-Copilot+ PCs.

Wichtige Unterschiede zwischen NPU und GPU-Ausführung:

Betriebliche Faktoren für Nicht-Copilot+-PCs

• Hardware-Vielfalt: Nicht Copilot+ PCs umfassen eine vielzahl von GPU-Konfigurationen. Die Leistung variiert in diesem Gerätespektrum erheblich.
• Mindesthardwareanforderungen: Geräte müssen mindeste GPU- und Speicheranforderungen erfüllen, um Phi Silika auszuführen.
• Softwareabhängigkeiten: Die Ausführung ohne Copilot+ PC erfordert den neuesten IHV GPU-Treiber, der direkt vom GPU-Hersteller (NVIDIA) installiert ist. Standardtreiber von Windows Update- oder OEM-Installationen sind möglicherweise nicht ausreichend und können zu Fehlern oder beeinträchtigter Leistung führen.

Systemleistung

Leistung auf PCs ohne Copilot+ verstehen

Die Ausgabequalität von Phi Silica (Genauigkeit, Kohärenz, Relevanz) ist auf Copilot+- und Nicht-Copilot+-PCs gleichbleibend, da dieselben Modellgewichte und dieselbe Architektur verwendet werden. Die wichtigsten Unterschiede sind die Ableitungsgeschwindigkeit, der Ressourcenverbrauch und die Reaktionsfähigkeit der Benutzerfreundlichkeit.

Entwickler sollten:

• Benchmark auf repräsentativer Hardware: Testen Sie mit einer Reihe von Nicht-Copilot+-Geräten, die Ihre Zielnutzerbasis widerspiegeln, einschließlich weniger leistungsfähiger Konfigurationen.
• Festlegen der Benutzererwartungen: Kommunizieren Sie deutlich, dass die Reaktionszeiten je nach Gerätehardware variieren können. Erwägen Sie, Statusindikatoren oder Partielle Ergebnisse beim Streamen anzuzeigen.
• Implementieren Sie Timeouts und Fallbacks: Für Szenarien, in denen die Reaktionszeit kritisch ist, implementieren Sie geeignete Timeouts und erwägen Sie, cloudbasierte Fallbackoptionen (mit Zustimmung des Benutzers) anzubieten.
• Ressourcennutzung überwachen: Verfolgen Sie während der Inferenz die GPU-Auslastung, den VRAM-Verbrauch und die Arbeitsspeichernutzung, um Leistungsengpässe zu identifizieren und zu beheben.

Siehe auch

• KI-Entwicklungskatalog
• Beispiele für windows AI-API