PreTokenizer.PreTokenize メソッド

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

名前	説明
PreTokenize(ReadOnlySpan<Char>)	元の文字列に対するトークンのオフセットと長さを取得します。
PreTokenize(String)	`text`に対する相対トークンのオフセットと長さを取得します。

元の文字列に対するトークンのオフセットと長さを取得します。

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);

abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>

Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))

トークンに分割する文字スパン。

トークンのオフセットと長さは、ペアとして表され、元の文字列に対して相対的です。

textに対する相対トークンのオフセットと長さを取得します。

public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);

public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);

abstract member PreTokenize : string -> seq<ValueTuple<int, int>>

abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>

Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))

Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)

トークンに分割する文字列。

トークンのオフセットと長さは、ペアとして表され、元の文字列に対して相対的です。