BpeTokenizer クラス

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:: BPETokenizer.cs

ソース:: BPETokenizer.cs

ソース:: BPETokenizer.cs

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

バイトペアエンコードモデルを表します。

public sealed class BpeTokenizer : Microsoft.ML.Tokenizers.Tokenizer

type BpeTokenizer = class
    inherit Tokenizer

Public NotInheritable Class BpeTokenizer
Inherits Tokenizer

継承: Object

Tokenizer
BpeTokenizer

プロパティ

名前	説明
ContinuingSubwordPrefix	単語の先頭ではないすべてのサブワードに使用されるプレフィックス
EndOfWordSuffix	単語のサブワードを特徴付けおよび終了する省略可能なサフィックス
FuseUnknownTokens	複数の不明なトークンが融合されるかどうかを取得または設定します。
Normalizer	トークナイザーで使用されているノーマライザーを取得します。
PreTokenizer	トークナイザーで使用される PreTokenizer を取得します。
SpecialTokens	特殊なトークンを取得します。
UnknownToken	不明なトークンを取得または設定します。不明な文字が発生したときに使用される不明なトークン
Vocabulary	ID へのディクショナリマッピングトークンを取得します。

メソッド

名前	説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
Create(Stream, Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	テキストエンコードに使用する新しい Bpe トークナイザーオブジェクトを作成します。
Create(Stream, Stream)	テキストエンコードに使用する新しい Bpe トークナイザーオブジェクトを作成します。
Create(String, String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	テキストエンコードに使用する新しい Bpe トークナイザーオブジェクトを作成します。
Create(String, String)	テキストエンコードに使用する新しい Bpe トークナイザーオブジェクトを作成します。
CreateAsync(Stream, Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	テキストエンコードに使用する新しい Bpe トークナイザーオブジェクトを非同期的に作成します。
Decode(IEnumerable<Int32>, Boolean)	指定した ID を文字列にデコードします。
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。
Decode(IEnumerable<Int32>)	指定した ID を文字列にデコードします。
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 <param name="text">エンコードするテキスト</param> (継承元 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
EncodeToTokens(String, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)

適用対象