Language

BertTokenizer.CreateTokenTypeIdsFromSequences メソッド

定義

オーバーロード

名前 説明
CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, IEnumerable<Int32>)

シーケンスペア分類タスクで使用するために渡される 2 つのシーケンスからマスクを作成します。 BERT シーケンス ペア マスクの形式は次のとおりです。0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 |最初のシーケンス |2 番目のシーケンス | additionalTokenIds が null の場合、このメソッドは型 ID の最初の部分 (0s) のみを返します。

CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, Span<Int32>, Int32, IEnumerable<Int32>)

CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, IEnumerable<Int32>)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

シーケンスペア分類タスクで使用するために渡される 2 つのシーケンスからマスクを作成します。 BERT シーケンス ペア マスクの形式は次のとおりです。0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 |最初のシーケンス |2 番目のシーケンス | additionalTokenIds が null の場合、このメソッドは型 ID の最初の部分 (0s) のみを返します。

public System.Collections.Generic.IReadOnlyList<int> CreateTokenTypeIdsFromSequences(System.Collections.Generic.IEnumerable<int> tokenIds, System.Collections.Generic.IEnumerable<int>? additionalTokenIds = default);
member this.CreateTokenTypeIdsFromSequences : seq<int> * seq<int> -> System.Collections.Generic.IReadOnlyList<int>
Public Function CreateTokenTypeIdsFromSequences (tokenIds As IEnumerable(Of Integer), Optional additionalTokenIds As IEnumerable(Of Integer) = Nothing) As IReadOnlyList(Of Integer)

パラメーター

tokenIds
IEnumerable<Int32>

最初のシーケンスのトークン ID の一覧。

additionalTokenIds
IEnumerable<Int32>

2 番目のシーケンスのトークン ID の省略可能なリスト。

返品

指定されたシーケンスに従ったトークン型 ID の一覧。

例外

tokenIdsが null の場合。

適用対象

CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, Span<Int32>, Int32, IEnumerable<Int32>)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
public System.Buffers.OperationStatus CreateTokenTypeIdsFromSequences(System.Collections.Generic.IEnumerable<int> tokenIds, Span<int> destination, out int valuesWritten, System.Collections.Generic.IEnumerable<int>? additionalTokenIds = default);
member this.CreateTokenTypeIdsFromSequences : seq<int> * Span<int> * int * seq<int> -> System.Buffers.OperationStatus
Public Function CreateTokenTypeIdsFromSequences (tokenIds As IEnumerable(Of Integer), destination As Span(Of Integer), ByRef valuesWritten As Integer, Optional additionalTokenIds As IEnumerable(Of Integer) = Nothing) As OperationStatus

パラメーター

tokenIds
IEnumerable<Int32>
destination
Span<Int32>
valuesWritten
Int32
additionalTokenIds
IEnumerable<Int32>

返品

適用対象