Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Important
Zadanie ukończenia czatu jest eksperymentalne i nie jest obsługiwane do użycia w środowiskach produkcyjnych.
Zadanie ukończenia czatu komponuje tokenizator, który udostępnia ustrukturyzowany formater konwersacji z sesją generowania tekstu. Wysyłasz listę komunikatów otagowanych rolami. Zadanie stosuje własny szablon czatu modelu, uruchamia generowanie i przesyła strumieniowo odpowiedź jako zawartość, rozumowanie i zdarzenia wywołania narzędzi.
Twoja aplikacja zarządza konwersacją. Dołącza każdą odpowiedź do listy wiadomości i wysyła całą listę w następnym kroku. Sesja generowania tekstu może wynikać z dowolnego sposobu wybierania sposobu uruchamiania modelu przez zadanie, a sesja czatu, zdarzenia i wynik działają tak samo w każdym przypadku.
Dokończ rozmowę
W poniższych przykładach założono, że masz już zadanie generowania tekstu, konfigurację i tokenizer. Sesja czatu obejmuje sesję generowania tekstu, a tokeny, które sesja przechowuje, są przenoszone z jednej tury do następnej.
Utwórz element ChatGenerator z zadania generowania tekstu, konfiguracji i tokenizatora. Tworzy sesję generowania tekstu i sesję czatu nad nią oraz utrzymuje obie na ich własnym wątku, ponieważ sesja należy do wątku, który ją utworzył. Przesyła strumieniowo odpowiedzi jako IAsyncEnumerable<T>:
// Temporary: ChatGenerator and the other wrapper types in the WinMLSamples.Runtime
// namespaces aren't in the Windows ML package yet. Copy the wrapper files from
// https://github.com/microsoft/WindowsML/tree/main/Samples/Runtime/shared/csharp
// into your project. A future update will include the C# APIs natively.
using WinMLSamples.Runtime;
using WinMLSamples.Runtime.Tasks;
// The chat session wraps the text generation session, and the tokens that
// session holds carry over from one turn to the next.
await using ChatGenerator chat = await ChatGenerator.CreateAsync(tasks, task, configuration, tokenizer);
Każda tura wysyła pełną historię:
// Send the conversation, stream the reply, and return it so that
// the caller can add it to the history.
static async Task<string> CompleteTurnAsync(
ChatGenerator chat,
TextGenerationOptions options,
List<ConversationMessage> history,
CancellationToken cancellationToken)
{
ConversationRequest request = new()
{
FormatterMode = ConversationFormatterMode.ModelDefault,
Messages = [.. history],
AddGenerationPrompt = true,
};
// Content events carry the reply as the model generates it.
await foreach (ChatCompletionUpdate update in chat.GenerateAsync(request, options, cancellationToken))
{
if (update.Type == ConversationOutputEventType.ContentDelta)
{
Console.Write(update.Text);
}
else if (update.Type == ConversationOutputEventType.Error)
{
throw WinMLException.GetExceptionForHResult(update.ErrorCode);
}
}
// The outcome has the reply, the token counts, and how many prompt tokens
// the session reused from the previous turn.
ChatCompletionOutcome outcome = chat.LastOutcome!;
Console.WriteLine(
$"\n Tokens: prompt={outcome.PromptTokenCount} " +
$"(reused={outcome.PromptCacheUse.CachedPromptTokenCount}) " +
$"completion={outcome.CompletionTokenCount}");
return outcome.Content;
}
Wywołaj ją raz dla każdego pytania i dodaj odpowiedź do historii po każdym kolei:
string[] questions =
[
"Name three primary colors.",
"Which of those is the color of the sky?",
];
using TextGenerationOptions options = tasks.TextGeneration.CreateTextGenerationOptions(48);
List<ConversationMessage> history = [];
foreach (string question in questions)
{
history.Add(new ConversationMessage { Role = "user", Content = question });
Console.Write($"User: {question}\nAssistant: ");
string reply = await CompleteTurnAsync(chat, options, history, CancellationToken.None);
history.Add(new ConversationMessage { Role = "assistant", Content = reply });
}
// Closing the sessions reports a failure that disposing them would not.
await chat.CloseAsync();
Anulowanie CancellationToken zatrzymuje generowanie w środowisku uruchomieniowym.
Ponowne użycie rozmowy
Gdy sformatowany monit zaczyna się od sekwencji tokenów zachowanej przez sesję, generowanie będzie kontynuowane z nowym sufiksem zamiast ponownego oceniania całego monitu. Zawartość wynikowa jest taka sama w obu przypadkach. Różni się tylko ilość pracy promptu. Wynik raportuje pełną liczbę monitów, liczbę zachowanych prefiksów i oceniane tokeny, dzięki czemu można zobaczyć ponowne użycie:
User: Name three primary colors.
Assistant: Three primary colors are red, blue, and yellow.
Tokens: prompt=34 (reused=0) completion=11
User: Which of those is the color of the sky?
Assistant: The color of the sky is blue.
Tokens: prompt=65 (reused=45) completion=8
Wyniki i anulowanie
Wynik końcowy raportuje ostateczną zawartość, rozumowanie, wywołania narzędzi, liczbę tokenów monitu i ukończenia, przyczynę zakończenia i wynik generowania tekstu bazowego. Przekaż Generate do IWinMLCancellationSource i wywołaj Cancel z dowolnego wątku, aby zatrzymać generowanie.
Sesje i strumienie należą do wątku, który je utworzył. Wywołania z innego wątku zwracają wartość RPC_E_WRONG_THREAD.
Dane wejściowe obrazu
Sesja czatu może przekazywać obrazy do modelu, który je obsługuje. Ustaw koder multimediów za pomocą metody SetMediaEncoder, a następnie wywołaj metodę GenerateWithMedia z powiązaniami, które przyporządkowują każdą część zawartości obrazu do tensora.