RobertaPreTokenizer.PreTokenize Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |
| PreTokenize(String) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |
PreTokenize(ReadOnlySpan<Char>)
- Origem:
- RobertaPreTokenizer.cs
- Origem:
- RobertaPreTokenizer.cs
- Origem:
- RobertaPreTokenizer.cs
Obter os deslocamentos e os comprimentos dos tokens relativos ao text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parâmetros
- text
- ReadOnlySpan<Char>
A cadeia de caracteres a ser dividida em tokens.
Retornos
Os deslocamentos e os comprimentos dos tokens, expressos como pares, são relativos à cadeia de caracteres original.
Aplica-se a
PreTokenize(String)
- Origem:
- RobertaPreTokenizer.cs
- Origem:
- RobertaPreTokenizer.cs
- Origem:
- RobertaPreTokenizer.cs
Obter os deslocamentos e os comprimentos dos tokens relativos ao text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> seq<ValueTuple<int, int>>override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parâmetros
- textsentence
- String
A cadeia de caracteres a ser dividida em tokens.
Retornos
Os deslocamentos e os comprimentos dos tokens, expressos como pares, são relativos à cadeia de caracteres original.