CodeGenTokenizer クラス

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

バイトペアエンコードモデルを表します。で説明されている CodeGen トークナイザーを実装する https://huggingface.co/docs/transformers/main/en/model_doc/codegen#overview

public class CodeGenTokenizer : Microsoft.ML.Tokenizers.Tokenizer

type CodeGenTokenizer = class
    inherit Tokenizer

Public Class CodeGenTokenizer
Inherits Tokenizer

継承: Object

Tokenizer
CodeGenTokenizer

派生: Microsoft.ML.Tokenizers.Phi2Tokenizer

プロパティ

名前	説明
AddBeginningOfSentence	エンコードに文トークンの先頭を含めるかどうかを示すフラグを取得します。
AddEndOfSentence	文の末尾トークンをエンコードに含めるかどうかを示すフラグを取得します。
AddPrefixSpace	テキストをエンコードする前に先頭のスペースを含めるかどうかを示すフラグを取得します。
BeginningOfSentenceId	文トークン ID の末尾を取得します。
BeginningOfSentenceToken	文トークンの先頭を取得します。
EndOfSentenceId	文トークン ID の末尾を取得します。
EndOfSentenceToken	文トークンの末尾を取得します。
Normalizer	トークナイザーで使用されているノーマライザーを取得します。
PreTokenizer	トークナイザーで使用される PreTokenizer を取得します。
SpecialTokens	追加されたトークンを取得します。
UnknownToken	不明なトークン。
UnknownTokenId	不明なトークン ID を取得します。
Vocabulary	ID へのディクショナリマッピングトークンを取得します。

メソッド

名前	説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。
CountTokens(String, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストがエンコードされるトークンの数を取得します。
Create(Stream, Stream, Boolean, Boolean, Boolean)	指定されたボキャブから CodeGen トークナイザーを作成し、ストリームをマージします。
Decode(IEnumerable<Int32>, Boolean, Boolean)	指定した ID を文字列にデコードします。
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Boolean, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。
Decode(IEnumerable<Int32>)	指定した ID を文字列にデコードします。
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。
EncodeToIds(String, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 <param name="text">エンコードするテキスト</param> (継承元 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストをトークン ID にエンコードします。
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)	オブジェクトへの入力テキストのエンコードには、トークンリスト、トークン ID、トークンオフセットマッピングが含まれます。
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)	オブジェクトへの入力テキストのエンコードには、トークンリスト、トークン ID、トークンオフセットマッピングが含まれます。
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストを EncodedTokenの一覧にエンコードします。
EncodeToTokens(String, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えずに、テキスト内の末尾から最大エンコード容量のインデックスを検索します。
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えずに、テキスト内の末尾から最大エンコード容量のインデックスを検索します。
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)

適用対象