BpeTokenizer.CreateAsync Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Créez un objet de tokenizer Bpe de manière asynchrone à utiliser pour l’encodage de texte.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.BpeTokenizer> CreateAsync(System.IO.Stream vocabStream, System.IO.Stream? mergesStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);static member CreateAsync : System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.BpeTokenizer>Public Shared Function CreateAsync (vocabStream As Stream, mergesStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As Task(Of BpeTokenizer)Paramètres
- vocabStream
- Stream
Flux JSON contenant le dictionnaire de clés de chaîne et leurs ID.
- mergesStream
- Stream
Flux contenant la liste des paires de jetons.
- preTokenizer
- PreTokenizer
Pré-tokenizer à utiliser.
- normalizer
- Normalizer
Normaliseur à utiliser.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Le dictionnaire mappant des jetons spéciaux aux ID.
- unknownToken
- String
Jeton inconnu à utiliser par le modèle.
- continuingSubwordPrefix
- String
Préfixe à attacher à des unités de sous-mots qui ne représentent pas un début de mot.
- endOfWordSuffix
- String
Suffixe à attacher à des unités de sous-mots qui représentent une fin de mot.
- fuseUnknownTokens
- Boolean
Indiquez si l’autorisation de plusieurs jetons inconnus est fusionnée.
Retours
Remarques
Lors de la création du tokenizer, vérifiez que le flux de vocabulaire est source d’un fournisseur approuvé.