Prise en main de Phi Silica

Phi Silicon est un modèle de langage local puissant à accélération matérielle qui fournit de nombreuses fonctionnalités trouvées dans les modèles de langage volumineux (LLMs). Sur les appareils équipés de NPU, le modèle utilise une technique appelée décodage spéculatif pour accélérer la génération de texte à l’aide d’un modèle brouillon plus petit qui peut proposer plusieurs séquences de jetons et être validé en parallèle par le modèle principal.

Phi Silicon est optimisé pour optimiser l’efficacité et les performances sur Windows Copilot+ PCs (où il s’exécute sur le NPU) et sur des appareils non Copilot+ Windows 11 avec un GPU pris en charge, et peut être intégré à vos applications Windows via les API d’IA Windows dans le SDK d'application Windows.

Ce niveau d’optimisation n’est pas disponible dans d’autres versions de Phi.

Matériel pris en charge

Phi Silicon s’exécute sur le matériel suivant :

Pour connaître les exigences relatives au pilote GPU, consultez la configuration requise pour les pilotes GPU.

Configuration requise pour le pilote GPU

L’exécution de Phi Silicon sur GPU nécessite le pilote le plus récent installé directement à partir du fabricant du GPU. Les pilotes par défaut de Windows Update ou d’installations OEM peuvent ne pas être suffisants et peuvent entraîner des défaillances ou des performances détériorées.

Téléchargez le pilote le plus récent pour votre matériel :

• NVIDIA GeForce / RTX : Pilote NVIDIA GeForce 615.21 (bêta)
• AMD Radeon : Pilote AMD Software: Adrenalin Edition 26.10.2

Différences entre les fonctionnalités GPU

Les fonctionnalités suivantes se comportent différemment sur GPU par rapport à NPU :

• Compression de requête : disponible sur le NPU, mais non disponible sur le GPU. Les applications qui s’appuient sur la compression des prompts pour des fenêtres de contexte plus étendues doivent en tenir compte lorsqu’elles ciblent des dispositifs GPU.
• Décodage spéculatif : disponible sur NPU pour la génération de texte accélérée. Actuellement non disponible sur GPU, ce qui peut entraîner un débit de jetons inférieur par seconde.
• Réglage précis de LoRA : les adaptateurs LoRA doivent être formés dans le cloud à l’aide du kit de Fine-Tuning (FTK). Vous pouvez tester localement l’inférence avec votre adaptateur entraîné à l’aide de AI Dev Gallery. Ce flux de travail est le même pour le NPU et le GPU.

Disponibilité et téléchargement du modèle

Contrairement au modèle NPU ( préinstallé sur Copilot+ PCs), le modèle Phi Silicon pour GPU est not préinstallé sur l'appareil de l'utilisateur. Au lieu de cela, le modèle est téléchargé à la demande la première fois que votre application appelle EnsureReadyAsync. Le téléchargement est de plusieurs gigaoctets et s’exécute en arrière-plan via Windows Update.

Modèle d’expérience utilisateur recommandé

Étant donné que le modèle GPU Phi Silicon est volumineux, affichez une boîte de dialogue de confirmation avant d’appeler EnsureReadyAsync afin que l’utilisateur puisse consentir au coût de stockage et au téléchargement en arrière-plan. Modèle classique :

1. Appelez GetReadyState et effectuez un branchement en fonction de AIFeatureReadyState renvoyé :

   • Ready — le modèle est installé ; Procéder.
   • NotReady — affichez votre boîte de dialogue de consentement (voir ci-dessous), puis appelez EnsureReadyAsync uniquement si l’utilisateur accepte.
   • NotSupportedOnCurrentSystem : le matériel de l’utilisateur ne répond pas à la configuration requise dans le matériel pris en charge. Offrez une expérience de secours et, le cas échéant, surfacez la configuration matérielle requise afin que l’utilisateur puisse prendre une décision de mise à niveau éclairée.

2. Dans votre boîte de dialogue de consentement, expliquez :

   • Un modèle de langage facultatif sera téléchargé (plusieurs Go de stockage).
   • Le téléchargement se produit en arrière-plan via Windows Update.
   • L’utilisateur peut surveiller la progression du téléchargement à Settings>Windows Update.
   • L’utilisateur peut ultérieurement supprimer le modèle dans Paramètres>Système>Composants IA s’il n’en veut plus.

   Tip

   Dans les chaînes orientées utilisateur (texte de boîte de dialogue, messages d’état), reportez-vous au modèle en tant que « modèle de langage » ou « modèle IA facultatif » au lieu de « Phi Silicon ». La plupart des utilisateurs finaux ne connaissent pas le nom de la marque et les termes génériques communiquent plus clairement leur objectif.

3. Pendant que EnsureReadyAsync est en cours, affichez un indicateur de progression dans votre application. L’opération renvoyée expose une propriété d’état qui contrôle une interface utilisateur de chargement ; consultez Bien démarrer avec les API Windows AI pour plus d’informations.

Une fois le modèle installé

Le modèle reste sur l’appareil jusqu’à ce que l’utilisateur le supprime. Les utilisateurs gèrent les modèles installés dans Paramètres>Système>Composants IA, où le modèle GPU Phi Silica apparaît sous le nom « AI LanguageModel ». Si l’utilisateur supprime plus tard le modèle, le prochain appel de votre application à GetReadyState retourne NotReady et le processus de consentement et de téléchargement doit être répété.

Pour plus d’informations sur l’API, consultez :

• microsoft.windows.ai
• microsoft.windows.ai.imaging
• microsoft.windows.ai.text

Intégrer Phi Silica

Avec un modèle de langue local Phi Silica, vous pouvez générer des réponses textuelles aux requêtes de l’utilisateur. Tout d’abord, vérifiez que vous disposez des conditions préalables et des modèles disponibles sur votre appareil, comme indiqué dans Prise en main des API Windows AI.

Spécifier les espaces de noms requis

Pour utiliser Phi Silicon, assurez-vous d’utiliser les espaces de noms requis :

using Microsoft.Windows.AI;
using Microsoft.Windows.AI.ContentSafety;
using Microsoft.Windows.AI.Text;

#include "winrt/Microsoft.Windows.AI.Text.h"
using namespace Microsoft::Windows::AI;
using namespace Microsoft::Windows::AI::Text;

Générer une réponse

Cet exemple montre comment générer une réponse à une invite Q&A. L’onglet C# montre également l’application d’options de modération de contenu personnalisées (voir Modération du contenu avec les API d’ia Windows).

1. Vérifiez que le modèle de langage est disponible en appelant la méthode GetReadyState et en attendant que la méthode EnsureReadyAsync retourne correctement.

2. Une fois le modèle de langage disponible, créez un objet LanguageModel pour le référencer.

3. Envoyez une invite de chaîne de caractères au modèle à l’aide de la méthode GenerateResponseAsync, qui retourne le résultat complet.

if (LanguageModel.GetReadyState() == AIFeatureReadyState.NotReady) 
{ 
   var op = await LanguageModel.EnsureReadyAsync(); 
} 

using LanguageModel languageModel = await LanguageModel.CreateAsync();

string prompt = "Provide the molecular formula for glucose.";

LanguageModelOptions options = new LanguageModelOptions();
ContentFilterOptions filterOptions = new ContentFilterOptions();
filterOptions.PromptMaxAllowedSeverityLevel.Violent = SeverityLevel.Minimum;
options.ContentFilterOptions = filterOptions;

var result = await languageModel.GenerateResponseAsync(prompt, options);
 
Console.WriteLine(result.Text);

if (LanguageModel::GetReadyState() == AIFeatureReadyState::NotReady)
{
    auto op = LanguageModel::EnsureReadyAsync().get();
}

auto languageModel = LanguageModel::CreateAsync().get();

const winrt::hstring prompt = L"Provide the molecular formula for glucose.";

LanguageModelResponseResult result = languageModel.GenerateResponseAsync(prompt).get();
std::cout << result.Text().c_str() << std::endl;

La réponse générée par cet exemple est la suivante :

C6H12O6

Compétences d’intelligence de texte

Phi Silicon inclut des fonctionnalités de transformation de texte intégrées (appelées compétences d’intelligence de texte) qui peuvent fournir des réponses structurées, concises et conviviales grâce à une mise en forme prédéfinie à l’aide d’un modèle de langage local.

Les compétences prises en charge sont les suivantes :

• Texte en tableau : met en forme la réponse de l'invite dans un format structuré de tableau, le cas échéant.
• Résumé : fournit un résumé concis du texte du prompt.
• Réécriture : reformule le texte d’invite pour optimiser la clarté, la lisibilité et, lorsqu'il est spécifié, le ton (ou le style).

Les étapes suivantes décrivent comment utiliser les compétences d’intelligence de texte.

1. Créer un objet LanguageModel
   Cet objet fait référence au modèle local de langage Phi Silicon (n’oubliez pas de confirmer que le modèle Phi Silicon est disponible sur l’appareil).

2. Instancier l’objet spécifique à la compétence
   Choisissez la classe appropriée en fonction de la compétence que vous souhaitez appliquer et passez l’instance LanguageModel en tant que paramètre.

3. Invocer la méthode pour exécuter la fonctionnalité
   Chaque compétence expose une méthode asynchrone qui traite l’entrée et retourne un résultat mis en forme.

4. Gérer la réponse
   Le résultat est retourné en tant qu’objet typé, que vous pouvez imprimer ou journaliser si nécessaire.

Cet exemple illustre la compétence de synthèse du texte.

1. Créez une instance LanguageModel (languageModel).
2. Passez ce LanguageModel au constructeur TextSummarizer .
3. Passez du texte à la méthode SummarizeAsync et imprimez le résultat.

using Microsoft.Windows.AI.Text;

using LanguageModel languageModel = await LanguageModel.CreateAsync();

var textSummarizer = new TextSummarizer(languageModel);
string text = @"This is a large amount of text I want to have summarized.";
var result = await textSummarizer.SummarizeAsync(text);

Console.WriteLine(result.Text); 

using namespace Microsoft::Windows::AI::Text;

auto languageModel = LanguageModel::CreateAsync().get();
auto textSummarizer = TextSummarizer(languageModel);
std::string prompt = "This is a large amount of text I want to have summarized.";
auto result = textSummarizer.SummarizeAsync(prompt);

std::wcout << result.get().Text() << std::endl;

IA responsable

Nous avons suivi les principes et pratiques fondamentaux décrits dans les normes d’IA responsable microsoft pour garantir que ces API sont fiables, sécurisées et générées de manière responsable. Pour plus d’informations sur l’implémentation de fonctionnalités d’IA dans votre application, consultez Développement d’INTELLIGENCE artificielle responsable sur Windows.

Notes sur la transparence du GPU

Pour plus d’informations sur les capacités, les limitations et l’utilisation responsable de Phi Silica sur des PC non Copilot+ (GPU), consultez la Note de transparence : Phi Silica sur les PC non Copilot+ .

Principales différences entre l’exécution du NPU et du GPU :

Facteurs opérationnels pour les PC non-Copilot+

• Diversité des matériels : les PC non Copilot+ couvrent un large éventail de configurations de GPU. Les performances varient considérablement dans le spectre de cet appareil.
• Configuration matérielle minimale requise : les appareils doivent répondre aux exigences minimales de GPU et de mémoire pour exécuter Phi Silicon.
• Dépendances du logiciel logiciel : l’exécution non Copilot+ PC nécessite le dernier pilote GPU IHV installé directement à partir du fabricant du GPU (NVIDIA). Les pilotes par défaut de Windows Update ou d’installations OEM peuvent ne pas être suffisants et peuvent entraîner des défaillances ou des performances détériorées.

Performances système

Comprendre les performances sur les PC qui ne sont pas des Copilot+ PC

La qualité des résultats de Phi Silica (précision, cohérence, pertinence) reste constante sur les PC Copilot+ et les PC non Copilot+, car les mêmes poids de modèle et la même architecture sont utilisés. Les principales différences sont la vitesse d’inférence, la consommation des ressources et la réactivité de l’expérience utilisateur.

Les développeurs doivent :

• Benchmark sur du matériel représentatif : testez sur une plage d’appareils non Copilot+ qui reflètent votre base d’utilisateurs cible, y compris les configurations de bas de gamme.
• Définir les attentes des utilisateurs : indiquez clairement que les temps de réponse peuvent varier en fonction du matériel de l’appareil. Envisagez d’afficher des indicateurs de progression ou de diffuser en continu des résultats partiels.
• Implémenter des délais d’expiration et des secours : pour les scénarios où le temps de réponse est critique, implémentez les délais d’expiration appropriés et envisagez d’offrir des options de secours basées sur le cloud (avec consentement de l’utilisateur).
• Surveiller l’utilisation des ressources : effectuez le suivi de l’utilisation du GPU, de la consommation VRAM et de l’utilisation de la mémoire système pendant l’inférence pour identifier et résoudre les goulots d’étranglement des performances.

Voir aussi

• Galerie de développement d’IA
• Exemples d’API Windows AI