LlamaTokenizer クラス

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:: LlamaTokenizer.cs

ソース:: LlamaTokenizer.cs

ソース:: LlamaTokenizer.cs

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

LlamaTokenizer は、 https://github.com/google/sentencepieceに基づいて実装される SentencePieceTokenizer です。

public sealed class LlamaTokenizer : Microsoft.ML.Tokenizers.SentencePieceTokenizer

type LlamaTokenizer = class
    inherit SentencePieceTokenizer

Public NotInheritable Class LlamaTokenizer
Inherits SentencePieceTokenizer

継承: Object

Tokenizer

SentencePieceTokenizer
LlamaTokenizer

プロパティ

名前	説明
AddBeginningOfSentence	エンコード中に文トークンの先頭を出力することを示します。 (継承元 SentencePieceTokenizer)
AddDummyPrefix	正規化とエンコード中に、文トークンの先頭にプレフィックス文字 U+2581 を出力することを示します。 (継承元 SentencePieceTokenizer)
AddEndOfSentence	エンコード中に文の末尾トークンを出力することを示します。 (継承元 SentencePieceTokenizer)
BeginningOfSentenceId	文トークンの先頭の ID。 (継承元 SentencePieceTokenizer)
BeginningOfSentenceToken	文トークンの先頭。 (継承元 SentencePieceTokenizer)
ByteFallback	エンコードプロセス中に不明なトークンが検出されたときに、モデルがバイトフォールバックを実行するかどうかを指定します。 (継承元 SentencePieceTokenizer)
EndOfSentenceId	文の末尾トークンの ID。 (継承元 SentencePieceTokenizer)
EndOfSentenceToken	文トークンの末尾。 (継承元 SentencePieceTokenizer)
EscapeWhiteSpaces	正規化とエンコード中にスペースを文字 U+2581 に置き換える必要があるかどうかを示します。 (継承元 SentencePieceTokenizer)
Normalizer	トークナイザーで使用されているノーマライザーを取得します。 (継承元 SentencePieceTokenizer)
PreTokenizer	トークナイザーで使用される PreTokenizer を取得します。 (継承元 SentencePieceTokenizer)
SpecialTokens	特殊なトークン。 (継承元 SentencePieceTokenizer)
TreatWhitespaceAsSuffix	正規化とエンコード中に文トークンの先頭ではなく、最後の文トークンの末尾に文字 U+2581 を出力することを示します。 (継承元 SentencePieceTokenizer)
UnknownId	不明なトークンの ID。 (継承元 SentencePieceTokenizer)
UnknownToken	不明なトークン。 (継承元 SentencePieceTokenizer)
Vocabulary	モデルのボキャブラリ。 (継承元 SentencePieceTokenizer)

メソッド

名前	説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 SentencePieceTokenizer)
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 SentencePieceTokenizer)
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 SentencePieceTokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 SentencePieceTokenizer)
CountTokens(String, Boolean, Boolean)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストがエンコードされるトークンの数を取得します。 (継承元 SentencePieceTokenizer)
Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)	指定されたモデルストリームから、SentencePieceTokenizer に基づく LlamaTokenizer を作成します。モデルストリームには、仕様に従って SentencePiece Bpe モデル https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto 含める必要があります。
Decode(IEnumerable<Int32>, Boolean)	指定した ID を文字列にデコードします。 (継承元 SentencePieceTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。 (継承元 SentencePieceTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	指定された ID をテキストにデコードし、結果を `destination` スパンに格納します。 (継承元 SentencePieceTokenizer)
Decode(IEnumerable<Int32>)	指定した ID を文字列にデコードします。 (継承元 SentencePieceTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToIds(String, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。 (継承元 Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。 <param name="text">エンコードするテキスト</param> (継承元 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストをトークン ID にエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean)	トークン、ID、およびオフセットの文字列値を使用して、入力テキストに EncodedTokenのリストをエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean)	トークン、ID、およびオフセットの文字列値を使用して、入力テキストに EncodedTokenのリストをエンコードします。 (継承元 SentencePieceTokenizer)
EncodeToTokens(String, String, Boolean, Boolean)	入力テキストを EncodedTokenの一覧にエンコードします。 (継承元 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。 (継承元 SentencePieceTokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。 (継承元 SentencePieceTokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 SentencePieceTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32)	トークンの制限を超えずに、テキスト内の末尾から最大エンコード容量のインデックスを検索します。 (継承元 SentencePieceTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)
GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32)	トークンの制限を超えずに、テキスト内の末尾から最大エンコード容量のインデックスを検索します。 (継承元 SentencePieceTokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 (継承元 Tokenizer)

適用対象