LlamaTokenizer 類別

定義

命名空間:: Microsoft.ML.Tokenizers

組件:: Microsoft.ML.Tokenizers.dll

套件:: Microsoft.ML.Tokenizers v1.0.1

套件:: Microsoft.ML.Tokenizers v0.22.0

套件:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

來源:: LlamaTokenizer.cs

來源:: LlamaTokenizer.cs

來源:: LlamaTokenizer.cs

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

LlamaTokenizer 是基於 https://github.com/google/sentencepiece的 SentencePieceTokenizer 實作。

public sealed class LlamaTokenizer : Microsoft.ML.Tokenizers.SentencePieceTokenizer

type LlamaTokenizer = class
    inherit SentencePieceTokenizer

Public NotInheritable Class LlamaTokenizer
Inherits SentencePieceTokenizer

繼承: Object

Tokenizer

SentencePieceTokenizer
LlamaTokenizer

屬性

名稱	Description
AddBeginningOfSentence	表示在編碼過程中發出句子符號的開頭。 (繼承來源 SentencePieceTokenizer)
AddDummyPrefix	表示在正規化與編碼過程中，於句子標記開頭發出前綴 U+2581。 (繼承來源 SentencePieceTokenizer)
AddEndOfSentence	表示在編碼過程中發出句尾標記。 (繼承來源 SentencePieceTokenizer)
BeginningOfSentenceId	句子起始符號的 ID。 (繼承來源 SentencePieceTokenizer)
BeginningOfSentenceToken	句子標記的開頭。 (繼承來源 SentencePieceTokenizer)
ByteFallback	指定模型在編碼過程中遇到未知標記時是否會進行位元組回備。 (繼承來源 SentencePieceTokenizer)
EndOfSentenceId	句尾標記的 ID。 (繼承來源 SentencePieceTokenizer)
EndOfSentenceToken	句尾標記。 (繼承來源 SentencePieceTokenizer)
EscapeWhiteSpaces	在正規化與編碼過程中，是否應將空格替換為 U+2581。 (繼承來源 SentencePieceTokenizer)
Normalizer	讓 Tokenizer 使用正規化器。 (繼承來源 SentencePieceTokenizer)
PreTokenizer	取得分幣器使用的預分組器。 (繼承來源 SentencePieceTokenizer)
SpecialTokens	特殊代幣。 (繼承來源 SentencePieceTokenizer)
TreatWhitespaceAsSuffix	表示在正規化與編碼過程中，將字元U+2581置於最後一個句子標記的結尾，而非句子標記的開頭。 (繼承來源 SentencePieceTokenizer)
UnknownId	未知標記的ID。 (繼承來源 SentencePieceTokenizer)
UnknownToken	未知的標記。 (繼承來源 SentencePieceTokenizer)
Vocabulary	模型的詞彙。 (繼承來源 SentencePieceTokenizer)

方法

名稱	Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)	取得輸入文字將被編碼的標記數量。 (繼承來源 SentencePieceTokenizer)
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)	取得輸入文字將被編碼的標記數量。 (繼承來源 SentencePieceTokenizer)
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	取得輸入文字將被編碼的標記數量。 (繼承來源 Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)	取得輸入文字將被編碼的標記數量。 (繼承來源 SentencePieceTokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean)	取得輸入文字將被編碼的標記數量。 (繼承來源 SentencePieceTokenizer)
CountTokens(String, Boolean, Boolean)	取得輸入文字將被編碼的標記數量。 (繼承來源 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	取得輸入文字將被編碼的標記數量。 (繼承來源 SentencePieceTokenizer)
Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)	從給定模型建立一個基於 SentencePieceTokenizer 的 LlamamaTokenizer 串流。模型串流應依規範包含 SentencePiece Bpe 模型 https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto 。
Decode(IEnumerable<Int32>, Boolean)	將給定的 id 解碼回字串。 (繼承來源 SentencePieceTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)	將給定的 id 解碼回文字，並將結果儲存在該 `destination` 區間。 (繼承來源 SentencePieceTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	將給定的 id 解碼回文字，並將結果儲存在該 `destination` 區間。 (繼承來源 SentencePieceTokenizer)
Decode(IEnumerable<Int32>)	將給定的 id 解碼回字串。 (繼承來源 SentencePieceTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)	將輸入文字編碼為標記 ID。 (繼承來源 SentencePieceTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	將輸入文字編碼為標記 ID，最多可達最大標記數。 (繼承來源 SentencePieceTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	將輸入文字編碼為標記 ID。 (繼承來源 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	將輸入文字編碼為標記 ID，最多可達最大標記數。 (繼承來源 Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean)	將輸入文字編碼為標記 ID。 (繼承來源 SentencePieceTokenizer)
EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	將輸入文字編碼為標記 ID，最多可達最大標記數。 (繼承來源 SentencePieceTokenizer)
EncodeToIds(String, Boolean, Boolean)	將輸入文字編碼為標記 ID。 (繼承來源 Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	將輸入文字編碼為標記 ID，最多可達最大標記數。 <param name=“text”> 要編碼的文字。</param> (繼承來源 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	將輸入文字編碼為標記 ID。 (繼承來源 SentencePieceTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean)	輸入文字會編碼一個包含符號、id 與偏移量字串值的 s 清單 EncodedToken。 (繼承來源 SentencePieceTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	將輸入文字編碼為一串 EncodedTokens 的列表。 (繼承來源 Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	將輸入文字編碼為一串 EncodedTokens 的列表。 (繼承來源 SentencePieceTokenizer)
EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean)	輸入文字會編碼一個包含符號、id 與偏移量字串值的 s 清單 EncodedToken。 (繼承來源 SentencePieceTokenizer)
EncodeToTokens(String, String, Boolean, Boolean)	將輸入文字編碼為一串 EncodedTokens 的列表。 (繼承來源 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	從文字開始時，找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 SentencePieceTokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 Tokenizer)
GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	從文字開始時，找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 SentencePieceTokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 SentencePieceTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32)	找出從文字末尾最大編碼容量的索引，且不超過標記限制。 (繼承來源 SentencePieceTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 Tokenizer)
GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32)	找出從文字末尾最大編碼容量的索引，且不超過標記限制。 (繼承來源 SentencePieceTokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	找出最大編碼容量的索引，且不超過令牌限制。 (繼承來源 Tokenizer)

適用於