LlamaTokenizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
LlamaTokenizer è SentencePieceTokenizer implementato in base a https://github.com/google/sentencepiece.
public sealed class LlamaTokenizer : Microsoft.ML.Tokenizers.SentencePieceTokenizertype LlamaTokenizer = class
inherit SentencePieceTokenizerPublic NotInheritable Class LlamaTokenizer
Inherits SentencePieceTokenizer- Ereditarietà
Proprietà
| Nome | Descrizione |
|---|---|
| AddBeginningOfSentence |
Indicare l'emissione dell'inizio del token di frase durante la codifica. (Ereditato da SentencePieceTokenizer) |
| AddDummyPrefix |
Indicare l'emissione del carattere di prefisso U+2581 all'inizio del token di frase durante la normalizzazione e la codifica. (Ereditato da SentencePieceTokenizer) |
| AddEndOfSentence |
Indicare l'emissione del token di fine frase durante la codifica. (Ereditato da SentencePieceTokenizer) |
| BeginningOfSentenceId |
ID dell'inizio del token di frase. (Ereditato da SentencePieceTokenizer) |
| BeginningOfSentenceToken |
L'inizio del token di frase. (Ereditato da SentencePieceTokenizer) |
| ByteFallback |
Specifica se il modello eseguirà un fallback di byte quando rileva token sconosciuti durante il processo di codifica. (Ereditato da SentencePieceTokenizer) |
| EndOfSentenceId |
ID della fine del token di frase. (Ereditato da SentencePieceTokenizer) |
| EndOfSentenceToken |
Token di fine frase. (Ereditato da SentencePieceTokenizer) |
| EscapeWhiteSpaces |
Indicare se gli spazi devono essere sostituiti con il carattere U+2581 durante la normalizzazione e la codifica. (Ereditato da SentencePieceTokenizer) |
| Normalizer |
Ottiene il normalizer in uso dal tokenizer. (Ereditato da SentencePieceTokenizer) |
| PreTokenizer |
Ottiene il preTokenizer utilizzato dal tokenizer. (Ereditato da SentencePieceTokenizer) |
| SpecialTokens |
Token speciali. (Ereditato da SentencePieceTokenizer) |
| TreatWhitespaceAsSuffix |
Indicare l'emissione del carattere U+2581 alla fine dell'ultimo token di frase anziché all'inizio del token di frase durante la normalizzazione e la codifica. (Ereditato da SentencePieceTokenizer) |
| UnknownId |
ID del token sconosciuto. (Ereditato da SentencePieceTokenizer) |
| UnknownToken |
Token sconosciuto. (Ereditato da SentencePieceTokenizer) |
| Vocabulary |
Vocabolario del modello. (Ereditato da SentencePieceTokenizer) |
Metodi
| Nome | Descrizione |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da SentencePieceTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da SentencePieceTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da Tokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da SentencePieceTokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da SentencePieceTokenizer) |
| CountTokens(String, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da SentencePieceTokenizer) |
| Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>) |
Creare dal flusso del modello specificato un LlamaTokenizer basato su SentencePieceTokenizer. Il flusso del modello deve contenere il modello SentencePiece Bpe in base alla https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto specifica. |
| Decode(IEnumerable<Int32>, Boolean) |
Decodificare gli ID specificati, tornare a un valore String. (Ereditato da SentencePieceTokenizer) |
| Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32) |
Decodificare gli ID specificati nel testo e archiviare il risultato nell'intervallo |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Decodificare gli ID specificati nel testo e archiviare il risultato nell'intervallo |
| Decode(IEnumerable<Int32>) |
Decodificare gli ID specificati, tornare a un valore String. (Ereditato da SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean) |
Codifica il testo di input in ID token. (Ereditato da SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. (Ereditato da SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica il testo di input in ID token. (Ereditato da Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. (Ereditato da Tokenizer) |
| EncodeToIds(String, Boolean, Boolean, Boolean, Boolean) |
Codifica il testo di input in ID token. (Ereditato da SentencePieceTokenizer) |
| EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. (Ereditato da SentencePieceTokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Codifica il testo di input in ID token. (Ereditato da Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. <param name="text">Testo da codificare.</param> (Ereditato da Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica il testo di input in ID token. (Ereditato da SentencePieceTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean) |
Codifica il testo di input di un elenco di EncodedTokencon valore stringa del token, dell'ID e dell'offset. (Ereditato da SentencePieceTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica il testo di input in un elenco di EncodedToken. (Ereditato da Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica il testo di input in un elenco di EncodedToken. (Ereditato da SentencePieceTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean) |
Codifica il testo di input di un elenco di EncodedTokencon valore stringa del token, dell'ID e dell'offset. (Ereditato da SentencePieceTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica il testo di input in un elenco di EncodedToken. (Ereditato da Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima dall'inizio all'interno del testo senza superare il limite di token. (Ereditato da SentencePieceTokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer) |
| GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima dall'inizio all'interno del testo senza superare il limite di token. (Ereditato da SentencePieceTokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32) |
Trovare l'indice della capacità di codifica massima dalla fine all'interno del testo senza superare il limite di token. (Ereditato da SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32) |
Trovare l'indice della capacità di codifica massima dalla fine all'interno del testo senza superare il limite di token. (Ereditato da SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer) |