CodeGenTokenizer.CountTokens メソッド

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

オーバーロード

名前	説明
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストがエンコードされるトークンの数を取得します。
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

入力テキストがエンコードされるトークンの数を取得します。

protected override int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overrides Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

パラメーター

text: String

エンコードするテキスト。

textSpan: ReadOnlySpan<Char>

textがnullされている場合に使用されるエンコードするテキストのスパン。

settings: EncodeSettings

テキストのエンコードに使用する設定。

返品

Int32

入力テキストがエンコードされるトークン ID の数。

適用対象

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

入力テキストがエンコードされるトークンの数を取得します。

public int CountTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : ReadOnlySpan<char> * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

パラメーター

text: ReadOnlySpan<Char>

エンコードするテキスト。

addPrefixSpace: Boolean

テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。

addBeginningOfSentence: Boolean

エンコードに文トークンの先頭を含めるかどうかを示します。

addEndOfSentence: Boolean

エンコードに文末トークンを含めるかどうかを示します。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

Int32

入力テキストのエンコード対象となるトークン ID の数。

適用対象

CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

入力テキストがエンコードされるトークンの数を取得します。

public int CountTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : string * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

パラメーター

text: String

エンコードするテキスト。

addPrefixSpace: Boolean

テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。

addBeginningOfSentence: Boolean

エンコードに文トークンの先頭を含めるかどうかを示します。

addEndOfSentence: Boolean

エンコードに文末トークンを含めるかどうかを示します。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

Int32

入力テキストのエンコード対象となるトークン ID の数。

適用対象