Phi2Tokenizer クラス

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:: Phi2Tokenizer.cs

ソース:: Phi2Tokenizer.cs

ソース:: Phi2Tokenizer.cs

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

バイトペアエンコードモデルを表します。で説明されている Phi2 トークナイザーを実装する https://huggingface.co/microsoft/phi-2

public sealed class Phi2Tokenizer : Microsoft.ML.Tokenizers.CodeGenTokenizer

type Phi2Tokenizer = class
    inherit CodeGenTokenizer

Public NotInheritable Class Phi2Tokenizer
Inherits CodeGenTokenizer

継承: Object

Tokenizer

CodeGenTokenizer
Phi2Tokenizer

プロパティ

名前	説明
AddBeginningOfSentence	エンコードに文トークンの先頭を含めるかどうかを示すフラグを取得します。 (継承元 CodeGenTokenizer)
AddEndOfSentence	文の末尾トークンをエンコードに含めるかどうかを示すフラグを取得します。 (継承元 CodeGenTokenizer)
AddPrefixSpace	テキストをエンコードする前に先頭のスペースを含めるかどうかを示すフラグを取得します。 (継承元 CodeGenTokenizer)
BeginningOfSentenceId	文トークン ID の末尾を取得します。 (継承元 CodeGenTokenizer)
BeginningOfSentenceToken	文トークンの先頭を取得します。 (継承元 CodeGenTokenizer)
EndOfSentenceId	文トークン ID の末尾を取得します。 (継承元 CodeGenTokenizer)
EndOfSentenceToken	文トークンの末尾を取得します。 (継承元 CodeGenTokenizer)
Normalizer	トークナイザーで使用されているノーマライザーを取得します。 (継承元 CodeGenTokenizer)
PreTokenizer	トークナイザーで使用される PreTokenizer を取得します。 (継承元 CodeGenTokenizer)
SpecialTokens	追加されたトークンを取得します。 (継承元 CodeGenTokenizer)
UnknownToken	不明なトークン。 (継承元 CodeGenTokenizer)
UnknownTokenId	不明なトークン ID を取得します。 (継承元 CodeGenTokenizer)
Vocabulary	ID へのディクショナリマッピングトークンを取得します。 (継承元 CodeGenTokenizer)

メソッド

名前	説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 CodeGenTokenizer)
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 CodeGenTokenizer)
CountTokens(String, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 CodeGenTokenizer)
Create(Stream, Stream, Boolean, Boolean, Boolean)	指定されたボキャブから CodeGen Phi2 トークナイザーを作成し、ストリームをマージします。
Decode(IEnumerable<Int32>, Boolean, Boolean)	指定した ID を文字列にデコードします。 (継承元 CodeGenTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Boolean, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。 (継承元 CodeGenTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。 (継承元 CodeGenTokenizer)
Decode(IEnumerable<Int32>)	指定した ID を文字列にデコードします。 (継承元 CodeGenTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 CodeGenTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 CodeGenTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 CodeGenTokenizer)
EncodeToIds(String, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 CodeGenTokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 <param name="text">エンコードするテキスト</param> (継承元 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストをトークン ID にエンコードします。 (継承元 CodeGenTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)	オブジェクトへの入力テキストのエンコードには、トークンリスト、トークン ID、トークンオフセットマッピングが含まれます。 (継承元 CodeGenTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)	オブジェクトへの入力テキストのエンコードには、トークンリスト、トークン ID、トークンオフセットマッピングが含まれます。 (継承元 CodeGenTokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 CodeGenTokenizer)
EncodeToTokens(String, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。 (継承元 CodeGenTokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。 (継承元 CodeGenTokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 CodeGenTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えずに、テキスト内の末尾から最大エンコード容量のインデックスを検索します。 (継承元 CodeGenTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	トークンの制限を超えずに、テキスト内の末尾から最大エンコード容量のインデックスを検索します。 (継承元 CodeGenTokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)

適用対象