RobertaPreTokenizer.PreTokenize Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |
| PreTokenize(String) |
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto |
PreTokenize(ReadOnlySpan<Char>)
- Origine:
- RobertaPreTokenizer.cs
- Origine:
- RobertaPreTokenizer.cs
- Origine:
- RobertaPreTokenizer.cs
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parametri
- text
- ReadOnlySpan<Char>
Stringa da dividere in token.
Valori restituiti
Gli offset e le lunghezze dei token, espressi come coppie, sono relativi alla stringa originale.
Si applica a
PreTokenize(String)
- Origine:
- RobertaPreTokenizer.cs
- Origine:
- RobertaPreTokenizer.cs
- Origine:
- RobertaPreTokenizer.cs
Ottenere gli offset e le lunghezze dei token rispetto all'oggetto text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> seq<ValueTuple<int, int>>override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parametri
- textsentence
- String
Stringa da dividere in token.
Valori restituiti
Gli offset e le lunghezze dei token, espressi come coppie, sono relativi alla stringa originale.