Language

WordPieceTokenizer クラス

定義

WordPiece トークナイザーを表します。

public class WordPieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer
type WordPieceTokenizer = class
    inherit Tokenizer
Public Class WordPieceTokenizer
Inherits Tokenizer
継承
WordPieceTokenizer
派生

注釈

WordPiece トークナイザーは、BERT やその他のトランスフォーマー モデルで使用されるサブワード トークナイザーです。 この実装は、Hugging Face WordPiece トークナイザーに基づいています https://huggingface.co/docs/tokenizers/api/models#tokenizers.models.WordPiece.

プロパティ

名前 説明
ContinuingSubwordPrefix

単語の最初の部分ではないサブワードに使用するプレフィックスを取得します。

MaxInputCharsPerWord

1 つの単語で承認する最大文字数を取得します。

Normalizer

トークナイザーで使用されているノーマライザーを取得します。

PreTokenizer

トークナイザーで使用される PreTokenizer を取得します。

SpecialTokens

特殊なトークンとそれに対応する ID を取得します。

UnknownToken

不明なトークンを取得します。 ボキャブラリにないトークンは ID に変換できず、代わりにこのトークンに設定されます。

UnknownTokenId

不明なトークン ID を取得します。 ボキャブラリにないトークンは ID に変換できず、代わりにこのトークンに設定されます。

メソッド

名前 説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストがエンコードされるトークンの数を取得します。

(継承元 Tokenizer)
CountTokens(String, Boolean, Boolean)

入力テキストがエンコードされるトークンの数を取得します。

(継承元 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストがエンコードされるトークンの数を取得します。

Create(Stream, WordPieceOptions)

WordPieceTokenizer クラスの新しいインスタンスを作成します。

Create(String, WordPieceOptions)

WordPieceTokenizer クラスの新しいインスタンスを作成します。

CreateAsync(Stream, WordPieceOptions, CancellationToken)

WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。

CreateAsync(String, WordPieceOptions, CancellationToken)

WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。

Decode(IEnumerable<Int32>, Boolean)

指定した ID を文字列にデコードします。

Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)

指定された ID をテキストにデコードし、結果を destination スパンに格納します。

Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

指定された ID をテキストにデコードし、結果を destination スパンに格納します。

Decode(IEnumerable<Int32>)

指定した ID を文字列にデコードします。

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

(継承元 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

最大トークン数までのトークン ID に入力テキストをエンコードします。

(継承元 Tokenizer)
EncodeToIds(String, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

(継承元 Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

最大トークン数までのトークン ID に入力テキストをエンコードします。

<param name="text">エンコードするテキスト</param> (継承元 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストをトークン ID にエンコードします。

EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)

入力テキストを EncodedTokenの一覧にエンコードします。

(継承元 Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストを EncodedTokenの一覧にエンコードします。

EncodeToTokens(String, String, Boolean, Boolean)

入力テキストを EncodedTokenの一覧にエンコードします。

(継承元 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)

適用対象