Tokenizer.EncodeToTokens Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Surcharges
| Nom | Description |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
| EncodeToTokens(String, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Encode le texte d’entrée dans une liste de EncodedTokens.
protected abstract Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected MustOverride Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)Paramètres
- text
- String
Texte à encoder.
- textSpan
- ReadOnlySpan<Char>
Étendue du texte à encoder, qui sera utilisée si la valeur text est null.
- settings
- EncodeSettings
Paramètres utilisés pour encoder le texte.
Retours
S’applique à
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Encode le texte d’entrée dans une liste de EncodedTokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToTokens : ReadOnlySpan<char> * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Paramètres
- text
- ReadOnlySpan<Char>
Texte à encoder.
- normalizedText
- String
Si la normalisation du tokenizer est activée ou <si le nom paramRef="considerNormalization"></paramRef est >défini falsesur paramRef< name="text"></paramRef> dans sa forme normalisée ; sinon, cette valeur est définie nullsur .
- considerPreTokenization
- Boolean
Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.
- considerNormalization
- Boolean
Indiquez s’il faut envisager la normalisation avant la tokenisation.
Retours
Liste des s encodés EncodedToken.
S’applique à
EncodeToTokens(String, String, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Encode le texte d’entrée dans une liste de EncodedTokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToTokens : string * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Paramètres
- text
- String
Texte à encoder.
- normalizedText
- String
Si la normalisation du tokenizer est activée ou <si le nom paramRef="considerNormalization"></paramRef est >défini falsesur paramRef< name="text"></paramRef> dans sa forme normalisée ; sinon, cette valeur est définie nullsur .
- considerPreTokenization
- Boolean
Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.
- considerNormalization
- Boolean
Indiquez s’il faut envisager la normalisation avant la tokenisation.
Retours
Liste des s encodés EncodedToken.