Bpe.Tokenize(String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Tokenisieren Sie eine Sequenzzeichenfolge in einer Liste von Token.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)Parameter
- sequence
- String
Die Sequenz, die tokenisiert werden soll.
Gibt zurück
Die Liste der Token, die aus der Sequenztokenisierung generiert wurden.