PreTokenizer.PreTokenize Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
PreTokenize(ReadOnlySpan<Char>)	Pobierz przesunięcia i długości tokenów względem oryginalnego ciągu.
PreTokenize(String)	Pobierz przesunięcia i długości tokenów względem `text`wartości .

PreTokenize(ReadOnlySpan<Char>)

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Pobierz przesunięcia i długości tokenów względem oryginalnego ciągu.

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);

abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>

Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Parametry

text: ReadOnlySpan<Char>

Zakres znaków, który ma być podzielony na tokeny.

Zwraca

IEnumerable<ValueTuple<Int32,Int32>>

Przesunięcia i długości tokenów, wyrażone jako pary, są względem oryginalnego ciągu.

Dotyczy

PreTokenize(String)

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Pobierz przesunięcia i długości tokenów względem textwartości .

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);

abstract member PreTokenize : string -> seq<ValueTuple<int, int>>

abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>

Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

Parametry

textsentence: String

Ciąg, który ma być podzielony na tokeny.

Zwraca

IEnumerable<ValueTuple<Int32,Int32>>

IReadOnlyList<Split>

Przesunięcia i długości tokenów, wyrażone jako pary, są względem oryginalnego ciągu.

Dotyczy