LlamaTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
LlamaTokenizer es SentencePieceTokenizer, que se implementa en función de https://github.com/google/sentencepiece.
public sealed class LlamaTokenizer : Microsoft.ML.Tokenizers.SentencePieceTokenizertype LlamaTokenizer = class
inherit SentencePieceTokenizerPublic NotInheritable Class LlamaTokenizer
Inherits SentencePieceTokenizer- Herencia
Propiedades
| Nombre | Description |
|---|---|
| AddBeginningOfSentence |
Indica la emisión del principio del token de oración durante la codificación. (Heredado de SentencePieceTokenizer) |
| AddDummyPrefix |
Indique la emisión del carácter de prefijo U+2581 al principio del token de oración durante la normalización y la codificación. (Heredado de SentencePieceTokenizer) |
| AddEndOfSentence |
Indica la emisión del final del token de oración durante la codificación. (Heredado de SentencePieceTokenizer) |
| BeginningOfSentenceId |
Identificador del principio del token de oración. (Heredado de SentencePieceTokenizer) |
| BeginningOfSentenceToken |
Principio del token de oración. (Heredado de SentencePieceTokenizer) |
| ByteFallback |
Especifica si el modelo realizará una reserva de bytes cuando encuentre tokens desconocidos durante el proceso de codificación. (Heredado de SentencePieceTokenizer) |
| EndOfSentenceId |
Identificador del final del token de oración. (Heredado de SentencePieceTokenizer) |
| EndOfSentenceToken |
El final del token de oración. (Heredado de SentencePieceTokenizer) |
| EscapeWhiteSpaces |
Indique si los espacios deben reemplazarse por el carácter U+2581 durante la normalización y la codificación. (Heredado de SentencePieceTokenizer) |
| Normalizer |
Obtiene el normalizador en uso por el tokenizador. (Heredado de SentencePieceTokenizer) |
| PreTokenizer |
Obtiene el preTokenizer usado por el tokenizador. (Heredado de SentencePieceTokenizer) |
| SpecialTokens |
Tokens especiales. (Heredado de SentencePieceTokenizer) |
| TreatWhitespaceAsSuffix |
Indique que emite el carácter U+2581 al final del último token de oración en lugar de comenzar el token de oración durante la normalización y la codificación. (Heredado de SentencePieceTokenizer) |
| UnknownId |
Identificador del token desconocido. (Heredado de SentencePieceTokenizer) |
| UnknownToken |
Token desconocido. (Heredado de SentencePieceTokenizer) |
| Vocabulary |
Vocabulario del modelo. (Heredado de SentencePieceTokenizer) |
Métodos
| Nombre | Description |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de SentencePieceTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de SentencePieceTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de Tokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de SentencePieceTokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de SentencePieceTokenizer) |
| CountTokens(String, Boolean, Boolean) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de SentencePieceTokenizer) |
| Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>) |
Cree a partir del flujo de modelo especificado un LlamaTokenizer que se basa en SentencePieceTokenizer. El flujo del modelo debe contener el modelo SentencePiece Bpe según la https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto especificación. |
| Decode(IEnumerable<Int32>, Boolean) |
Descodifique los identificadores especificados, de vuelta a una cadena. (Heredado de SentencePieceTokenizer) |
| Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32) |
Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el |
| Decode(IEnumerable<Int32>) |
Descodifique los identificadores especificados, de vuelta a una cadena. (Heredado de SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token. (Heredado de SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. (Heredado de SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token. (Heredado de Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. (Heredado de Tokenizer) |
| EncodeToIds(String, Boolean, Boolean, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token. (Heredado de SentencePieceTokenizer) |
| EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. (Heredado de SentencePieceTokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token. (Heredado de Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. <param name="text">El texto que se va a codificar.</param> (Heredado de Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica el texto de entrada en identificadores de token. (Heredado de SentencePieceTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean) |
Codifica el texto de entrada una lista de s con el valor de EncodedTokencadena del token, el identificador y el desplazamiento. (Heredado de SentencePieceTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de SentencePieceTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean) |
Codifica el texto de entrada una lista de s con el valor de EncodedTokencadena del token, el identificador y el desplazamiento. (Heredado de SentencePieceTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima desde el principio dentro del texto sin superar el límite de tokens. (Heredado de SentencePieceTokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer) |
| GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima desde el principio dentro del texto sin superar el límite de tokens. (Heredado de SentencePieceTokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32) |
Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens. (Heredado de SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32) |
Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens. (Heredado de SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer) |