BertTokenizer.EncodeToIds Methode

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Überlädt

Name	Beschreibung
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(String, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.
EncodeToIds(String, Boolean, Boolean, Boolean)	Codiert Eingabetext in Token-IDs.

EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: String

Der zu codierenden Text.

maxTokenCount: Int32

Die maximale Anzahl von Token, die zurückgegeben werden sollen.

addSpecialTokens: Boolean

Geben Sie an, ob der codierten ID spezielle Token hinzugefügt werden sollen.

normalizedText: String

Der normalisierte Text.

charsConsumed: Int32

Die Anzahl der vom Eingabetext verbrauchten Zeichen.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: ReadOnlySpan<Char>

Der zu codierenden Text.

maxTokenCount: Int32

Die maximale Anzahl von Token, die zurückgegeben werden sollen.

addSpecialTokens: Boolean

Geben Sie an, ob der codierten ID spezielle Token hinzugefügt werden sollen.

normalizedText: String

Der normalisierte Text.

charsConsumed: Int32

Die Anzahl der vom Eingabetext verbrauchten Zeichen.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: String

Der zu codierenden Text.

maxTokenCount: Int32

Die maximale Anzahl von Token, die zurückgegeben werden sollen.

normalizedText: String

Der normalisierte Text.

charsConsumed: Int32

Die Anzahl der vom Eingabetext verbrauchten Zeichen.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: ReadOnlySpan<Char>

Der zu codierenden Text.

maxTokenCount: Int32

Die maximale Anzahl von Token, die zurückgegeben werden sollen.

normalizedText: String

Der normalisierte Text.

charsConsumed: Int32

Die Anzahl der vom Eingabetext verbrauchten Zeichen.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: ReadOnlySpan<Char>

Der zu codierenden Text.

addSpecialTokens: Boolean

Geben Sie an, ob der codierten ID spezielle Token hinzugefügt werden sollen.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(String, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: String

Der zu codierenden Text.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: ReadOnlySpan<Char>

Der zu codierenden Text.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für:

EncodeToIds(String, Boolean, Boolean, Boolean)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Codiert Eingabetext in Token-IDs.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parameter

text: String

Der zu codierenden Text.

addSpecialTokens: Boolean

Geben Sie an, ob der codierten ID spezielle Token hinzugefügt werden sollen.

considerPreTokenization: Boolean

Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.

considerNormalization: Boolean

Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.

Gibt zurück

IReadOnlyList<Int32>

Die Liste der codierten IDs.

Gilt für: