BertTokenizer.EncodeToIds Metodo

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Overload

Nome	Descrizione
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(String, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Codifica il testo di input in ID token.
EncodeToIds(String, Boolean, Boolean, Boolean)	Codifica il testo di input in ID token.

EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: String

Testo da codificare.

maxTokenCount: Int32

Numero massimo di token da restituire.

addSpecialTokens: Boolean

Indicare se aggiungere token speciali agli ID codificati.

normalizedText: String

Testo normalizzato.

charsConsumed: Int32

Numero di caratteri utilizzati dal testo di input.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: ReadOnlySpan<Char>

Testo da codificare.

maxTokenCount: Int32

Numero massimo di token da restituire.

addSpecialTokens: Boolean

Indicare se aggiungere token speciali agli ID codificati.

normalizedText: String

Testo normalizzato.

charsConsumed: Int32

Numero di caratteri utilizzati dal testo di input.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: String

Testo da codificare.

maxTokenCount: Int32

Numero massimo di token da restituire.

normalizedText: String

Testo normalizzato.

charsConsumed: Int32

Numero di caratteri utilizzati dal testo di input.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: ReadOnlySpan<Char>

Testo da codificare.

maxTokenCount: Int32

Numero massimo di token da restituire.

normalizedText: String

Testo normalizzato.

charsConsumed: Int32

Numero di caratteri utilizzati dal testo di input.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: ReadOnlySpan<Char>

Testo da codificare.

addSpecialTokens: Boolean

Indicare se aggiungere token speciali agli ID codificati.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(String, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: String

Testo da codificare.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: ReadOnlySpan<Char>

Testo da codificare.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a

EncodeToIds(String, Boolean, Boolean, Boolean)

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Origine:: BertTokenizer.cs

Codifica il testo di input in ID token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametri

text: String

Testo da codificare.

addSpecialTokens: Boolean

Indicare se aggiungere token speciali agli ID codificati.

considerPreTokenization: Boolean

Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.

considerNormalization: Boolean

Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.

Valori restituiti

IReadOnlyList<Int32>

Elenco di ID codificati.

Si applica a