Microsoft.ML.Tokenizers Espacio de nombres

Opciones para el tokenizador Bert.

Tokenizador para el modelo bert.

Representa el modelo de codificación de pares de bytes.

Permite descodificar el BPE original mediante la combinación de todos los tokens y, a continuación, reemplazando el sufijo usado para identificar palabras finales por espacios en blanco.

Representa el modelo de codificación de pares de bytes.

El entrenador de Bpe responsable de entrenar el modelo Bpe.

Representa el modelo de codificación de pares de bytes. Implementación del tokenizador de CodeGen descrito en https://huggingface.co/docs/transformers/main/en/model_doc/codegen#overview

Representa el modelo de codificación de pares de bytes.

Representa el modelo de codificación de pares de bytes.

LlamaTokenizer es SentencePieceTokenizer, que se implementa en función de https://github.com/google/sentencepiece.

Normalice la cadena en formato en minúsculas antes de procesarla con el tokenizador.

Representa un modelo usado durante la tokenización (como BPE o Word Fragmento o Unigrama).

Normalice la cadena antes de procesarla con el tokenizador.

Representa el modelo de codificación de pares de bytes. Implementación del tokenizador Phi2 descrito en https://huggingface.co/microsoft/phi-2

Clase base para todas las clases de tokenizadores previos. PreTokenizer se encarga de realizar el paso de segmentación previa.

Tokenizador previo para tokenizador Tiktoken.

Tokenizador previo para el tokenizador en inglés de Roberta.

Normalice la cadena según la normalización de SentencePiece.

SentencePieceBpe es un tokenizador que divide la entrada en tokens mediante el modelo de SentencePiece Bpe.

Esta división contiene el token de división subyacente, así como sus desplazamientos en la cadena original. Estos desplazamientos están en el original referencial. También contiene cualquier Token asociado a la división actual.

Representa el tokenizador de codificación de par de bytes rápido.

Representa el token generado a partir del proceso de tokenización que contiene la subcadena del token, el identificador asociado a la subcadena del token y la asignación de desplazamiento a la cadena original.

Proporciona una abstracción para los tokenizadores, lo que permite la codificación de texto en tokens y la descodificación de identificadores de token en texto.

Un descodificador tiene la responsabilidad de combinar la lista especificada de tokens en una cadena.

La codificación representa la salida de un tokenizador.

Tiene Trainer la responsabilidad de entrenar un modelo. Lo alimentamos con líneas y oraciones y, a continuación, puede entrenar el dado Model.

Normalice la cadena en formato en mayúsculas antes de procesarla con el tokenizador.

Pre-tokenizer que divide el texto en el límite de la palabra. La palabra es un conjunto de caracteres alfabéticos, numéricos y de subrayado.

Opciones para el tokenizador de WordPiece.

Representa el tokenizador de WordPiece.

Representa un token agregado por el usuario sobre el vocabulario del modelo existente. AddedToken se puede configurar para especificar el comportamiento que deben tener en varias situaciones como:

• Si solo deben coincidir con palabras únicas
• Si se debe incluir cualquier espacio en blanco a la izquierda o a la derecha

Representa el token generado a partir del proceso de tokenización que contiene la subcadena del token, el identificador asociado a la subcadena del token y la asignación de desplazamiento a la cadena original.

Resultado de la codificación de un texto.

La configuración usada para codificar un texto.

Contiene la cadena normalizada y la asignación a la cadena original.

Representa el estado del progreso notificado.