Tokenizer.GetIndexByTokenCountFromEnd Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu.
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu.

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu.

public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);

member this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * string * int * bool * bool -> int

Public Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

maxTokenCount: Int32

Maksymalna liczba tokenów do zakodowania.

normalizedText: String

Jeśli normalizacja tokenizatora jest włączona lub <paramRef name="considerPreTokenization"></paramRef> to false, zostanie ustawiona <wartość paramRef name="text"></paramRef> w znormalizowanej postaci; w przeciwnym razie ta wartość zostanie ustawiona na nullwartość .

tokenCount: Int32

Liczbę tokenów można wygenerować, która powinna być mniejsza niż maksymalna liczba tokenów.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

Int32

Indeks maksymalnej pojemności kodowania w przetworzonym tekście bez przekraczania limitu tokenu. Reprezentuje indeks pierwszego znaku, który ma zostać uwzględniony. W przypadkach, gdy tokeny nie pasują, wynik będzie długością tekstu; z drugiej strony, jeśli wszystkie tokeny pasują, wynik będzie równy zero.

Dotyczy

GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs

Źródło:: Tokenizer.cs