Tokenizer.Decode Método

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v1.0.1

Pacote:: Microsoft.ML.Tokenizers v0.22.0

Pacote:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Pacote:: Microsoft.ML.Tokenizers v0.20.1

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Sobrecargas

Nome	Description
Decode(IEnumerable<Int32>)	Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.
Decode(IEnumerable<Int32>, Boolean)	Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.
Decode(Int32, Boolean)	Decodifica a ID para o token mapeado.
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no `destination` intervalo.

Decode(IEnumerable<Int32>)

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

public virtual string Decode(System.Collections.Generic.IEnumerable<int> ids);

abstract member Decode : seq<int> -> string
override this.Decode : seq<int> -> string

Public Overridable Function Decode (ids As IEnumerable(Of Integer)) As String

Parâmetros

ids: IEnumerable<Int32>

A lista de IDs que queremos decodificar.

Retornos

String

A cadeia de caracteres decodificada.

Exceções

ArgumentNullException

ids é nulo.

InvalidOperationException

ids contém dados inválidos.

Comentários

Os tipos derivados Tokenizer podem substituir essa implementação para fornecer uma implementação mais eficiente. Por predefinição, utiliza Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32).

Aplica-se a

Decode(IEnumerable<Int32>, Boolean)

Decodificar as IDs fornecidas, de volta para uma cadeia de caracteres.

public string? Decode(System.Collections.Generic.IEnumerable<int> ids, bool skipSpecialTokens = false);

member this.Decode : seq<int> * bool -> string

Public Function Decode (ids As IEnumerable(Of Integer), Optional skipSpecialTokens As Boolean = false) As String

Parâmetros

ids: IEnumerable<Int32>

A lista de IDs que queremos decodificar.

skipSpecialTokensconsiderSpecialTokens: Boolean

Se os tokens especiais devem ser removidos da cadeia de caracteres decodificada.

Retornos

String

A cadeia de caracteres decodificada.

Aplica-se a

Decode(Int32, Boolean)

Decodifica a ID para o token mapeado.

public string? Decode(int id, bool skipSpecialTokens = false);

member this.Decode : int * bool -> string

Public Function Decode (id As Integer, Optional skipSpecialTokens As Boolean = false) As String

Parâmetros

id: Int32

A ID a ser mapeada para o token.

skipSpecialTokensconsiderSpecialTokens: Boolean

Indique se deseja ignorar os tokens especiais durante a decodificação.

Retornos

String

A cadeia de caracteres decodificada ou nula se não houver nenhum token mapeado para a ID de entrada.

Aplica-se a

Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Decodificar as IDs fornecidas de volta ao texto e armazenar o resultado no destination intervalo.

public abstract System.Buffers.OperationStatus Decode(System.Collections.Generic.IEnumerable<int> ids, Span<char> destination, out int idsConsumed, out int charsWritten);

abstract member Decode : seq<int> * Span<char> * int * int -> System.Buffers.OperationStatus

Public MustOverride Function Decode (ids As IEnumerable(Of Integer), destination As Span(Of Char), ByRef idsConsumed As Integer, ByRef charsWritten As Integer) As OperationStatus

Parâmetros

ids: IEnumerable<Int32>

A lista de IDs que queremos decodificar.

destination: Span<Char>

O intervalo para armazenar o texto decodificado.

idsConsumed: Int32

O número de IDs consumidas durante a decodificação.

charsWritten: Int32

O número de caracteres gravados no intervalo de destino.

Retornos

OperationStatus

O status da operação indica se todas as IDs foram decodificadas com êxito ou se elas destination são muito pequenas para conter todo o resultado decodificado.

Aplica-se a