Tokenizer.CountTokens Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(String, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : ReadOnlySpan<char> * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

Int32

Liczba identyfikatorów tokenu, do których zostanie zakodowany tekst wejściowy.

Dotyczy

CountTokens(String, Boolean, Boolean)

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : string * bool * bool -> int

Public Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parametry

text: String

Tekst do zakodowania.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

Int32

Liczba identyfikatorów tokenu, do których zostanie zakodowany tekst wejściowy.

Dotyczy

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.

protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

Parametry

text: String

Tekst do zakodowania.

textSpan: ReadOnlySpan<Char>

Zakres tekstu do zakodowania, który będzie używany, jeśli element text ma wartość null.

settings: EncodeSettings

Ustawienia używane do kodowania tekstu.

Zwraca

Int32

Liczba identyfikatorów tokenu, do których zostanie zakodowany tekst wejściowy.

Uwagi

Typy pochodzące z Tokenizer programu mogą zastąpić tę implementację w celu zapewnienia bardziej wydajnej implementacji. Domyślnie używa elementu EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).

Dotyczy