CodeGenTokenizer.GetIndexByTokenCountFromEnd Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania z końca tekstu bez przekraczania limitu tokenu.
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania z końca tekstu bez przekraczania limitu tokenu.

GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Znajdź indeks maksymalnej pojemności kodowania z końca tekstu bez przekraczania limitu tokenu.

public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);

override this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> int

Public Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parametry

text: ReadOnlySpan<Char>

Tekst do zakodowania.

maxTokenCount: Int32

Maksymalna liczba tokenów w celu ograniczenia pojemności kodowania.

addPrefixSpace: Boolean

Określ, czy przed kodowaniem tekstu należy uwzględnić spację wiodącą.

addBeginningOfSentence: Boolean

Określ, czy należy uwzględnić początek tokenu zdania w kodowaniu.

addEndOfSentence: Boolean

Określ, czy należy uwzględnić koniec tokenu zdania w kodowaniu.

normalizedText: String

Jeśli normalizacja tokenizatora jest włączona, tekst wejściowy będzie reprezentowany w postaci normalizacji; w przeciwnym razie będzie mieć wartość null.

tokenCount: Int32

Liczbę tokenów można wygenerować, która powinna być mniejsza niż maksymalna liczba tokenów.

considerPreTokenization: Boolean

Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.

considerNormalization: Boolean

Określ, czy należy rozważyć normalizację przed tokenizacją.

Zwraca

Int32

Indeks początkowy maksymalnej pojemności kodowania w przetworzonym tekście bez przekraczania limitu tokenu. Reprezentuje indeks w pierwszym znaku, który ma zostać uwzględniony. W przypadkach, gdy żadne tokeny nie pasują, wynik będzie mieć długość normalizedText, natomiast jeśli wszystkie tokeny pasują, wynik będzie wynosić 0.

Uwagi

Jeśli cały tekst może być zakodowany w limicie tokenu, zwrócony indeks będzie wynosić 0.

Dotyczy

GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs

Źródło:: CodeGenTokenizer.cs