PreTokenizer.PreTokenize 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
多載
| 名稱 | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
取得標記相對於原始字串的偏移量和長度。 |
| PreTokenize(String) |
取得符號相對於 |
PreTokenize(ReadOnlySpan<Char>)
取得標記相對於原始字串的偏移量和長度。
public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))參數
- text
- ReadOnlySpan<Char>
角色會被分割成代幣。
傳回
標記的偏移量和長度（以成對表示）相對於原始字串而言。
適用於
PreTokenize(String)
取得符號相對於 text的偏移量與長度。
public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);abstract member PreTokenize : string -> seq<ValueTuple<int, int>>abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)參數
- textsentence
- String
那串可以分成代幣的線。
傳回
標記的偏移量和長度（以成對表示）相對於原始字串而言。