Tokenizer.CountTokens メソッド

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

オーバーロード

名前	説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。
CountTokens(String, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストがエンコードされるトークンの数を取得します。

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

ソース:: Tokenizer.cs

ソース:: Tokenizer.cs

ソース:: Tokenizer.cs

入力テキストがエンコードされるトークンの数を取得します。

public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : ReadOnlySpan<char> * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

パラメーター

text: ReadOnlySpan<Char>

エンコードするテキスト。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

Int32

入力テキストがエンコードされるトークン ID の数。

適用対象

CountTokens(String, Boolean, Boolean)

ソース:: Tokenizer.cs

ソース:: Tokenizer.cs

ソース:: Tokenizer.cs

入力テキストがエンコードされるトークンの数を取得します。

public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : string * bool * bool -> int

Public Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

パラメーター

text: String

エンコードするテキスト。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

Int32

入力テキストがエンコードされるトークン ID の数。

適用対象

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

ソース:: Tokenizer.cs

ソース:: Tokenizer.cs

ソース:: Tokenizer.cs

入力テキストがエンコードされるトークンの数を取得します。

protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

パラメーター

text: String

エンコードするテキスト。

textSpan: ReadOnlySpan<Char>

textがnullされている場合に使用されるエンコードするテキストのスパン。

settings: EncodeSettings

テキストのエンコードに使用する設定。

返品

Int32

入力テキストがエンコードされるトークン ID の数。

注釈

Tokenizerから派生した型は、この実装をオーバーライドして、より効率的な実装を提供できます。既定では、 EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)が使用されます。

適用対象