PreTokenizer.PreTokenize Método

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v1.0.1

Pacote:: Microsoft.ML.Tokenizers v0.22.0

Pacote:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Pacote:: Microsoft.ML.Tokenizers v0.20.1

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Sobrecargas

Nome	Description
PreTokenize(ReadOnlySpan<Char>)	Obtenha os deslocamentos e os comprimentos dos tokens relativos à cadeia de caracteres original.
PreTokenize(String)	Obter os deslocamentos e os comprimentos dos tokens relativos ao `text`.

PreTokenize(ReadOnlySpan<Char>)

Origem:: PreTokenizer.cs

Origem:: PreTokenizer.cs

Origem:: PreTokenizer.cs

Obtenha os deslocamentos e os comprimentos dos tokens relativos à cadeia de caracteres original.

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);

abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>

Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parâmetros

text: ReadOnlySpan<Char>

O intervalo de caracteres a ser dividido em tokens.

Retornos

IEnumerable<ValueTuple<Int32,Int32>>

Os deslocamentos e os comprimentos dos tokens, expressos como pares, são relativos à cadeia de caracteres original.

Aplica-se a

PreTokenize(String)

Origem:: PreTokenizer.cs

Origem:: PreTokenizer.cs

Origem:: PreTokenizer.cs

Obter os deslocamentos e os comprimentos dos tokens relativos ao text.

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);

abstract member PreTokenize : string -> seq<ValueTuple<int, int>>

abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>

Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

Parâmetros

textsentence: String

A cadeia de caracteres a ser dividida em tokens.

Retornos

IEnumerable<ValueTuple<Int32,Int32>>

IReadOnlyList<Split>

Os deslocamentos e os comprimentos dos tokens, expressos como pares, são relativos à cadeia de caracteres original.

Aplica-se a