Tokenizer.EncodeToIds Metoda
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Przeciążenia
| Nazwa | Opis |
|---|---|
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. <param name="text">Tekst do zakodowania.</param> |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Koduje tekst wejściowy do identyfikatorów tokenu. |
| EncodeToIds(String, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu. |
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów.
<param name="text">Tekst do zakodowania.</param>public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametry
- text
- String
- maxTokenCount
- Int32
Maksymalna liczba tokenów do zakodowania.
- normalizedText
- String
Jeśli normalizacja tokenizatora jest włączona lub <paramRef name="considerNormalization"></paramRef> to false, zostanie ustawiona <wartość paramRef name="text"></paramRef> w znormalizowanej postaci; w przeciwnym razie ta wartość zostanie ustawiona na nullwartość .
- charsConsumed
- Int32
Liczba znaków tekstu, który obejmuje maksymalne zakodowane tokeny.
- considerPreTokenization
- Boolean
Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.
- considerNormalization
- Boolean
Określ, czy należy rozważyć normalizację przed tokenizacją.
Zwraca
Lista zakodowanych identyfikatorów.
Dotyczy
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametry
- text
- ReadOnlySpan<Char>
Tekst do zakodowania.
- maxTokenCount
- Int32
Maksymalna liczba tokenów do zakodowania.
- normalizedText
- String
Jeśli normalizacja tokenizatora jest włączona lub <paramRef name="considerNormalization"></paramRef> to false, zostanie ustawiona <wartość paramRef name="text"></paramRef> w znormalizowanej postaci; w przeciwnym razie ta wartość zostanie ustawiona na nullwartość .
- charsConsumed
- Int32
Liczba znaków tekstu, który obejmuje maksymalne zakodowane tokeny.
- considerPreTokenization
- Boolean
Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.
- considerNormalization
- Boolean
Określ, czy należy rozważyć normalizację przed tokenizacją.
Zwraca
Lista zakodowanych identyfikatorów.
Dotyczy
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
Koduje tekst wejściowy do identyfikatorów tokenu.
protected virtual Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>
override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>Protected Overridable Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)Parametry
- text
- String
Tekst do zakodowania.
- textSpan
- ReadOnlySpan<Char>
Zakres tekstu do zakodowania, który będzie używany, jeśli element text ma wartość null.
- settings
- EncodeSettings
Ustawienia używane do kodowania tekstu.
Zwraca
Zakodowane wyniki zawierające listę zakodowanych identyfikatorów.
Uwagi
Typy pochodzące z Tokenizer programu mogą zastąpić tę implementację w celu zapewnienia bardziej wydajnej implementacji. Domyślnie używa elementu EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).
Dotyczy
EncodeToIds(String, Boolean, Boolean)
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
Koduje tekst wejściowy do identyfikatorów tokenu.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametry
- text
- String
Tekst do zakodowania.
- considerPreTokenization
- Boolean
Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.
- considerNormalization
- Boolean
Określ, czy należy rozważyć normalizację przed tokenizacją.
Zwraca
Lista zakodowanych identyfikatorów.
Dotyczy
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
- Źródło:
- Tokenizer.cs
Koduje tekst wejściowy do identyfikatorów tokenu.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametry
- text
- ReadOnlySpan<Char>
Tekst do zakodowania.
- considerPreTokenization
- Boolean
Określ, czy należy rozważyć wstępne tokenizację przed tokenizacją.
- considerNormalization
- Boolean
Określ, czy należy rozważyć normalizację przed tokenizacją.
Zwraca
Lista zakodowanych identyfikatorów.