Tokenizer.GetIndexByTokenCountFromEnd 方法

定義

命名空間:: Microsoft.ML.Tokenizers

組件:: Microsoft.ML.Tokenizers.dll

套件:: Microsoft.ML.Tokenizers v1.0.1

套件:: Microsoft.ML.Tokenizers v0.22.0

套件:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

多載

名稱	Description
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	找出最大編碼容量的索引，且不超過令牌限制。
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	找出最大編碼容量的索引，且不超過令牌限制。

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

來源:: Tokenizer.cs

來源:: Tokenizer.cs

來源:: Tokenizer.cs

找出最大編碼容量的索引，且不超過令牌限制。

public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);

member this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * string * int * bool * bool -> int

Public Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

參數

text: ReadOnlySpan<Char>

要編碼的文字。

maxTokenCount: Int32

最多要編碼的標記數量。

normalizedText: String

若分詞器的正規化啟用，或 <paramRef 名稱=“considerPreTokenization”></paramRef> 為 false，則會設定為 <paramRef 名稱=“text”></paramRef> 的正規化形式;否則，此值將設為 null。

tokenCount: Int32

代幣數量應該比最大代幣數量還要少。

considerPreTokenization: Boolean

說明是否在分詞化前考慮預先分詞化。

considerNormalization: Boolean

說明是否在分詞前考慮正規化。

傳回

Int32

在處理後的文字中，最大編碼容量的索引，且不超過令牌限制。它代表第一個被包含字元的索引。若無標記可匹配，結果即為文字長度;反之，若所有標記皆符合，結果為零。

適用於

GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

來源:: Tokenizer.cs

來源:: Tokenizer.cs

來源:: Tokenizer.cs