語言

Split 類別

定義

此分割包含底層的分割標記及其在原始字串中的偏移量。 這些偏移量位於 original 參照中。 它也包含與當前分割相關的任何內容 Token 。

public sealed class Split : IEquatable<Microsoft.ML.Tokenizers.Split>
type Split = class
    interface IEquatable<Split>
Public NotInheritable Class Split
Implements IEquatable(Of Split)
繼承
Split
實作

建構函式

名稱 Description
Split(String, ValueTuple<Int32,Int32>)

利用 token 和 offset 建立一個 Split 物件

屬性

名稱 Description
Offset

回傳偏移映射到原始字串

TokenString

取得底層的分割代幣。 每個子字串都用一個標記表示,最後我們可能會攜帶大量代表原始輸入字串不同部分的子字串。

方法

名稱 Description
Equals(Split)

表示目前的分裂物件是否等於另一個分裂物件。

適用於