AddedToken Struktura

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentowanie tokenu dodanego przez użytkownika na podstawie istniejącego słownictwa modelu. Wartość AddedToken można skonfigurować tak, aby określić zachowanie, które powinny mieć w różnych sytuacjach, takich jak:

Czy powinny one być zgodne tylko z pojedynczymi słowami
Czy należy uwzględnić dowolny biały znak po lewej lub prawej stronie

public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>

type AddedToken = struct

Public Structure AddedToken
Implements IEquatable(Of AddedToken)

Dziedziczenie: ValueType
AddedToken

Implementuje: IEquatable<AddedToken>

Konstruktory

Nazwa	Opis
AddedToken()	Utwórz nowy obiekt AddedToken.
AddedToken(String, Boolean)	Utwórz nowy obiekt AddedToken z danej zawartości, określając, czy ma być to specjalny token. Tokeny specjalne nie są domyślnie znormalizowane.

Właściwości

Nazwa	Opis
Content	Pobiera lub ustawia zawartość dodanego tokenu

Metody

Nazwa	Opis
Equals(AddedToken)	Określa, czy dwa wystąpienia tokenu są równe.
GetHashCode()	Zwraca kod skrótu dla bieżącego tokenu.

Operatory

Nazwa	Opis
Implicit(String to AddedToken)	Definiuje niejawną konwersję obiektu ciągu na AddedToken.

Dotyczy