BertTokenizer.CreateTokenTypeIdsFromSequences メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, IEnumerable<Int32>) |
シーケンスペア分類タスクで使用するために渡される 2 つのシーケンスからマスクを作成します。 BERT シーケンス ペア マスクの形式は次のとおりです。0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 |最初のシーケンス |2 番目のシーケンス | |
| CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, Span<Int32>, Int32, IEnumerable<Int32>) |
CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, IEnumerable<Int32>)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
シーケンスペア分類タスクで使用するために渡される 2 つのシーケンスからマスクを作成します。 BERT シーケンス ペア マスクの形式は次のとおりです。0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 |最初のシーケンス |2 番目のシーケンス | additionalTokenIds が null の場合、このメソッドは型 ID の最初の部分 (0s) のみを返します。
public System.Collections.Generic.IReadOnlyList<int> CreateTokenTypeIdsFromSequences(System.Collections.Generic.IEnumerable<int> tokenIds, System.Collections.Generic.IEnumerable<int>? additionalTokenIds = default);
member this.CreateTokenTypeIdsFromSequences : seq<int> * seq<int> -> System.Collections.Generic.IReadOnlyList<int>
Public Function CreateTokenTypeIdsFromSequences (tokenIds As IEnumerable(Of Integer), Optional additionalTokenIds As IEnumerable(Of Integer) = Nothing) As IReadOnlyList(Of Integer)
パラメーター
- tokenIds
- IEnumerable<Int32>
最初のシーケンスのトークン ID の一覧。
- additionalTokenIds
- IEnumerable<Int32>
2 番目のシーケンスのトークン ID の省略可能なリスト。
返品
指定されたシーケンスに従ったトークン型 ID の一覧。
例外
tokenIdsが null の場合。
適用対象
CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, Span<Int32>, Int32, IEnumerable<Int32>)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
public System.Buffers.OperationStatus CreateTokenTypeIdsFromSequences(System.Collections.Generic.IEnumerable<int> tokenIds, Span<int> destination, out int valuesWritten, System.Collections.Generic.IEnumerable<int>? additionalTokenIds = default);
member this.CreateTokenTypeIdsFromSequences : seq<int> * Span<int> * int * seq<int> -> System.Buffers.OperationStatus
Public Function CreateTokenTypeIdsFromSequences (tokenIds As IEnumerable(Of Integer), destination As Span(Of Integer), ByRef valuesWritten As Integer, Optional additionalTokenIds As IEnumerable(Of Integer) = Nothing) As OperationStatus
パラメーター
- tokenIds
- IEnumerable<Int32>
- valuesWritten
- Int32
- additionalTokenIds
- IEnumerable<Int32>