Język

Uzupełnianie czatu za pomocą Windows ML Tasks

Important

Zadanie ukończenia czatu jest eksperymentalne i nie jest obsługiwane do użycia w środowiskach produkcyjnych.

Zadanie ukończenia czatu komponuje tokenizator, który udostępnia ustrukturyzowany formater konwersacji z sesją generowania tekstu. Wysyłasz listę komunikatów otagowanych rolami. Zadanie stosuje własny szablon czatu modelu, uruchamia generowanie i przesyła strumieniowo odpowiedź jako zawartość, rozumowanie i zdarzenia wywołania narzędzi.

Twoja aplikacja zarządza konwersacją. Dołącza każdą odpowiedź do listy wiadomości i wysyła całą listę w następnym kroku. Sesja generowania tekstu może wynikać z dowolnego sposobu wybierania sposobu uruchamiania modelu przez zadanie, a sesja czatu, zdarzenia i wynik działają tak samo w każdym przypadku.

Dokończ rozmowę

W poniższych przykładach założono, że masz już zadanie generowania tekstu, konfigurację i tokenizer. Sesja czatu obejmuje sesję generowania tekstu, a tokeny, które sesja przechowuje, są przenoszone z jednej tury do następnej.

Utwórz element ChatGenerator z zadania generowania tekstu, konfiguracji i tokenizatora. Tworzy sesję generowania tekstu i sesję czatu nad nią oraz utrzymuje obie na ich własnym wątku, ponieważ sesja należy do wątku, który ją utworzył. Przesyła strumieniowo odpowiedzi jako IAsyncEnumerable<T>:

// Temporary: ChatGenerator and the other wrapper types in the WinMLSamples.Runtime
// namespaces aren't in the Windows ML package yet. Copy the wrapper files from
// https://github.com/microsoft/WindowsML/tree/main/Samples/Runtime/shared/csharp
// into your project. A future update will include the C# APIs natively.
using WinMLSamples.Runtime;
using WinMLSamples.Runtime.Tasks;

// The chat session wraps the text generation session, and the tokens that
// session holds carry over from one turn to the next.
await using ChatGenerator chat = await ChatGenerator.CreateAsync(tasks, task, configuration, tokenizer);

Każda tura wysyła pełną historię:

// Send the conversation, stream the reply, and return it so that
// the caller can add it to the history.
static async Task<string> CompleteTurnAsync(
    ChatGenerator chat,
    TextGenerationOptions options,
    List<ConversationMessage> history,
    CancellationToken cancellationToken)
{
    ConversationRequest request = new()
    {
        FormatterMode = ConversationFormatterMode.ModelDefault,
        Messages = [.. history],
        AddGenerationPrompt = true,
    };

    // Content events carry the reply as the model generates it.
    await foreach (ChatCompletionUpdate update in chat.GenerateAsync(request, options, cancellationToken))
    {
        if (update.Type == ConversationOutputEventType.ContentDelta)
        {
            Console.Write(update.Text);
        }
        else if (update.Type == ConversationOutputEventType.Error)
        {
            throw WinMLException.GetExceptionForHResult(update.ErrorCode);
        }
    }

    // The outcome has the reply, the token counts, and how many prompt tokens
    // the session reused from the previous turn.
    ChatCompletionOutcome outcome = chat.LastOutcome!;
    Console.WriteLine(
        $"\n  Tokens: prompt={outcome.PromptTokenCount} " +
        $"(reused={outcome.PromptCacheUse.CachedPromptTokenCount}) " +
        $"completion={outcome.CompletionTokenCount}");

    return outcome.Content;
}

Wywołaj ją raz dla każdego pytania i dodaj odpowiedź do historii po każdym kolei:

string[] questions =
[
    "Name three primary colors.",
    "Which of those is the color of the sky?",
];

using TextGenerationOptions options = tasks.TextGeneration.CreateTextGenerationOptions(48);
List<ConversationMessage> history = [];
foreach (string question in questions)
{
    history.Add(new ConversationMessage { Role = "user", Content = question });
    Console.Write($"User: {question}\nAssistant: ");
    string reply = await CompleteTurnAsync(chat, options, history, CancellationToken.None);
    history.Add(new ConversationMessage { Role = "assistant", Content = reply });
}

// Closing the sessions reports a failure that disposing them would not.
await chat.CloseAsync();

Anulowanie CancellationToken zatrzymuje generowanie w środowisku uruchomieniowym.

Ponowne użycie rozmowy

Gdy sformatowany monit zaczyna się od sekwencji tokenów zachowanej przez sesję, generowanie będzie kontynuowane z nowym sufiksem zamiast ponownego oceniania całego monitu. Zawartość wynikowa jest taka sama w obu przypadkach. Różni się tylko ilość pracy promptu. Wynik raportuje pełną liczbę monitów, liczbę zachowanych prefiksów i oceniane tokeny, dzięki czemu można zobaczyć ponowne użycie:

User: Name three primary colors.
Assistant: Three primary colors are red, blue, and yellow.
  Tokens: prompt=34 (reused=0) completion=11
User: Which of those is the color of the sky?
Assistant: The color of the sky is blue.
  Tokens: prompt=65 (reused=45) completion=8

Wyniki i anulowanie

Wynik końcowy raportuje ostateczną zawartość, rozumowanie, wywołania narzędzi, liczbę tokenów monitu i ukończenia, przyczynę zakończenia i wynik generowania tekstu bazowego. Przekaż Generate do IWinMLCancellationSource i wywołaj Cancel z dowolnego wątku, aby zatrzymać generowanie.

Sesje i strumienie należą do wątku, który je utworzył. Wywołania z innego wątku zwracają wartość RPC_E_WRONG_THREAD.

Dane wejściowe obrazu

Sesja czatu może przekazywać obrazy do modelu, który je obsługuje. Ustaw koder multimediów za pomocą metody SetMediaEncoder, a następnie wywołaj metodę GenerateWithMedia z powiązaniami, które przyporządkowują każdą część zawartości obrazu do tensora.

Następne kroki