語言

Tokenizer.CountTokens 方法

定義

多載

名稱 Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

取得輸入文字將被編碼的標記數量。

CountTokens(String, Boolean, Boolean)

取得輸入文字將被編碼的標記數量。

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

取得輸入文字將被編碼的標記數量。

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

來源:
Tokenizer.cs
來源:
Tokenizer.cs
來源:
Tokenizer.cs

取得輸入文字將被編碼的標記數量。

public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);
member this.CountTokens : ReadOnlySpan<char> * bool * bool -> int
Public Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

參數

text
ReadOnlySpan<Char>

要編碼的文字。

considerPreTokenization
Boolean

說明是否在分詞化前考慮預先分詞化。

considerNormalization
Boolean

說明是否在分詞前考慮正規化。

傳回

輸入文字將被編碼到的標記 ID 數量。

適用於

CountTokens(String, Boolean, Boolean)

來源:
Tokenizer.cs
來源:
Tokenizer.cs
來源:
Tokenizer.cs

取得輸入文字將被編碼的標記數量。

public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);
member this.CountTokens : string * bool * bool -> int
Public Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

參數

text
String

要編碼的文字。

considerPreTokenization
Boolean

說明是否在分詞化前考慮預先分詞化。

considerNormalization
Boolean

說明是否在分詞前考慮正規化。

傳回

輸入文字將被編碼到的標記 ID 數量。

適用於

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

來源:
Tokenizer.cs
來源:
Tokenizer.cs
來源:
Tokenizer.cs

取得輸入文字將被編碼的標記數量。

protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);
abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
Protected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

參數

text
String

要編碼的文字。

textSpan
ReadOnlySpan<Char>

如果 為 textnull,則會使用的文字範圍。

settings
EncodeSettings

編碼文字的設定。

傳回

輸入文字將被編碼到的標記 ID 數量。

備註

由 衍生 Tokenizer 出的型別可能會覆寫此實作,以提供更有效率的實作。 預設情況下,它使用 EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)。

適用於