WordPieceTokenizer.CreateAsync Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| CreateAsync(Stream, WordPieceOptions, CancellationToken) |
Erstellen Sie asynchron eine neue Instanz der WordPieceTokenizer Klasse. |
| CreateAsync(String, WordPieceOptions, CancellationToken) |
Erstellen Sie asynchron eine neue Instanz der WordPieceTokenizer Klasse. |
CreateAsync(Stream, WordPieceOptions, CancellationToken)
- Quelle:
- WordPieceTokenizer.cs
- Quelle:
- WordPieceTokenizer.cs
- Quelle:
- WordPieceTokenizer.cs
Erstellen Sie asynchron eine neue Instanz der WordPieceTokenizer Klasse.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>Public Shared Function CreateAsync (vocabStream As Stream, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)Parameter
- vocabStream
- Stream
Der Pfad zur WordPiece-Vocab-Datei.
- options
- WordPieceOptions
Die Optionen, die für den WordPiece-Tokenizer verwendet werden sollen.
- cancellationToken
- CancellationToken
Das Abbruchtoken.
Gibt zurück
Eine neue Instanz der WordPieceTokenizer-Klasse.
Hinweise
Wenn null PreTokenizer ist, wird der Leerzeichenvortokenizer verwendet. Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.
Gilt für:
CreateAsync(String, WordPieceOptions, CancellationToken)
- Quelle:
- WordPieceTokenizer.cs
- Quelle:
- WordPieceTokenizer.cs
- Quelle:
- WordPieceTokenizer.cs
Erstellen Sie asynchron eine neue Instanz der WordPieceTokenizer Klasse.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);static member CreateAsync : string * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>Public Shared Function CreateAsync (vocabFilePath As String, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)Parameter
- vocabFilePath
- String
Der Pfad zur WordPiece-Vocab-Datei.
- options
- WordPieceOptions
Die Optionen, die für den WordPiece-Tokenizer verwendet werden sollen.
- cancellationToken
- CancellationToken
Das Abbruchtoken.
Gibt zurück
Eine neue Instanz der WordPieceTokenizer-Klasse.
Hinweise
Wenn null PreTokenizer ist, wird der Leerzeichenvortokenizer verwendet. Stellen Sie beim Erstellen des Tokenizers sicher, dass die Vokabulardatei von einem vertrauenswürdigen Anbieter stammt.