CodeGenTokenizer.CountTokens Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

protected override int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overrides Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

Parametry

text: String

Tekst do zakodowania.

textSpan: ReadOnlySpan<Char>

Zakres tekstu do zakodowania, który będzie używany, jeśli element text ma wartość null.

settings: EncodeSettings

Ustawienia używane do kodowania tekstu.

Zwraca

Int32

Liczba identyfikatorów tokenu, do których zostanie zakodowany tekst wejściowy.

Dotyczy

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

public int CountTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : ReadOnlySpan<char> * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

addPrefixSpace: Boolean

Określ, czy przed kodowaniem tekstu należy uwzględnić spację wiodącą.

addBeginningOfSentence: Boolean

Określ, czy należy uwzględnić początek tokenu zdania w kodowaniu.

addEndOfSentence: Boolean

Określ, czy należy uwzględnić koniec tokenu zdania w kodowaniu.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

Int32

Liczba identyfikatorów tokenów, do których zostanie zakodowany tekst wejściowy.

Dotyczy

CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

public int CountTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : string * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parametry

text: String

Tekst do zakodowania.

addPrefixSpace: Boolean

Określ, czy przed kodowaniem tekstu należy uwzględnić spację wiodącą.

addBeginningOfSentence: Boolean

Określ, czy należy uwzględnić początek tokenu zdania w kodowaniu.

addEndOfSentence: Boolean

Określ, czy należy uwzględnić koniec tokenu zdania w kodowaniu.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

Int32

Liczba identyfikatorów tokenów, do których zostanie zakodowany tekst wejściowy.

Dotyczy