RobertaPreTokenizer.PreTokenize Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Surcharges
| Nom | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obtenez les décalages et les longueurs des jetons par rapport au |
| PreTokenize(String) |
Obtenez les décalages et les longueurs des jetons par rapport au |
PreTokenize(ReadOnlySpan<Char>)
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
Obtenez les décalages et les longueurs des jetons par rapport au text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Paramètres
- text
- ReadOnlySpan<Char>
Chaîne à fractionner en jetons.
Retours
Les décalages et les longueurs des jetons, exprimées sous forme de paires, sont relatifs à la chaîne d’origine.
S’applique à
PreTokenize(String)
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
- Source:
- RobertaPreTokenizer.cs
Obtenez les décalages et les longueurs des jetons par rapport au text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> seq<ValueTuple<int, int>>override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Paramètres
- textsentence
- String
Chaîne à fractionner en jetons.
Retours
Les décalages et les longueurs des jetons, exprimées sous forme de paires, sont relatifs à la chaîne d’origine.