BertTokenizer.CreateTokenTypeIdsFromSequences Methode

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Überlädt

Name	Beschreibung
CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, IEnumerable<Int32>)	Erstellen Sie eine Maske aus den beiden Sequenzen, die in einer Sequenzpaarklassifizierungsaufgabe verwendet werden sollen. Eine BERT-Sequenzpaarmaske hat das folgende Format: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 \| erste Sequenz \| zweite Sequenz \| Wenn `additionalTokenIds` null ist, gibt diese Methode nur den ersten Teil der Typ-IDs (0s) zurück.
CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, Span<Int32>, Int32, IEnumerable<Int32>)

CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, IEnumerable<Int32>)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Erstellen Sie eine Maske aus den beiden Sequenzen, die in einer Sequenzpaarklassifizierungsaufgabe verwendet werden sollen. Eine BERT-Sequenzpaarmaske hat das folgende Format: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 | erste Sequenz | zweite Sequenz | Wenn additionalTokenIds null ist, gibt diese Methode nur den ersten Teil der Typ-IDs (0s) zurück.

public System.Collections.Generic.IReadOnlyList<int> CreateTokenTypeIdsFromSequences(System.Collections.Generic.IEnumerable<int> tokenIds, System.Collections.Generic.IEnumerable<int>? additionalTokenIds = default);

member this.CreateTokenTypeIdsFromSequences : seq<int> * seq<int> -> System.Collections.Generic.IReadOnlyList<int>

Public Function CreateTokenTypeIdsFromSequences (tokenIds As IEnumerable(Of Integer), Optional additionalTokenIds As IEnumerable(Of Integer) = Nothing) As IReadOnlyList(Of Integer)

Parameter

tokenIds: IEnumerable<Int32>

Liste der Token-IDs für die erste Sequenz.

additionalTokenIds: IEnumerable<Int32>

Optionale Liste der Token-IDs für die zweite Sequenz.

Gibt zurück

IReadOnlyList<Int32>

Liste der Tokentyp-IDs gemäß der angegebenen Sequenz(n).

Ausnahmen

ArgumentNullException

Wenn tokenIds null ist.

Gilt für:

CreateTokenTypeIdsFromSequences(IEnumerable<Int32>, Span<Int32>, Int32, IEnumerable<Int32>)

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

Quelle:: BertTokenizer.cs

public System.Buffers.OperationStatus CreateTokenTypeIdsFromSequences(System.Collections.Generic.IEnumerable<int> tokenIds, Span<int> destination, out int valuesWritten, System.Collections.Generic.IEnumerable<int>? additionalTokenIds = default);

member this.CreateTokenTypeIdsFromSequences : seq<int> * Span<int> * int * seq<int> -> System.Buffers.OperationStatus

Public Function CreateTokenTypeIdsFromSequences (tokenIds As IEnumerable(Of Integer), destination As Span(Of Integer), ByRef valuesWritten As Integer, Optional additionalTokenIds As IEnumerable(Of Integer) = Nothing) As OperationStatus

Parameter

tokenIds: IEnumerable<Int32>

destination: Span<Int32>

valuesWritten: Int32

additionalTokenIds: IEnumerable<Int32>

Gibt zurück

OperationStatus

Gilt für: