BertTokenizer.EncodeToIds Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(String, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(String, Boolean, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.

EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: String

Tekst do zakodowania.

maxTokenCount: Int32

Maksymalna liczba tokenów do zwrócenia.

addSpecialTokens: Boolean

Określ, czy należy dodać specjalne tokeny do zakodowanych identyfikatorów.

normalizedText: String

Znormalizowany tekst.

charsConsumed: Int32

Liczba znaków użytych w tekście wejściowym.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

maxTokenCount: Int32

Maksymalna liczba tokenów do zwrócenia.

addSpecialTokens: Boolean

Określ, czy należy dodać specjalne tokeny do zakodowanych identyfikatorów.

normalizedText: String

Znormalizowany tekst.

charsConsumed: Int32

Liczba znaków użytych w tekście wejściowym.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: String

Tekst do zakodowania.

maxTokenCount: Int32

Maksymalna liczba tokenów do zwrócenia.

normalizedText: String

Znormalizowany tekst.

charsConsumed: Int32

Liczba znaków użytych w tekście wejściowym.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

maxTokenCount: Int32

Maksymalna liczba tokenów do zwrócenia.

normalizedText: String

Znormalizowany tekst.

charsConsumed: Int32

Liczba znaków użytych w tekście wejściowym.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

addSpecialTokens: Boolean

Określ, czy należy dodać specjalne tokeny do zakodowanych identyfikatorów.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(String, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: String

Tekst do zakodowania.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy

EncodeToIds(String, Boolean, Boolean, Boolean)

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Źródło:: BertTokenizer.cs

Koduje tekst wejściowy do identyfikatorów tokenu.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parametry

text: String

Tekst do zakodowania.

addSpecialTokens: Boolean

Określ, czy należy dodać specjalne tokeny do zakodowanych identyfikatorów.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

IReadOnlyList<Int32>

Lista zakodowanych identyfikatorów.

Dotyczy