PreTokenizer Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Źródło:: PreTokenizer.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Klasa bazowa dla wszystkich klas pre-tokenizers. PreTokenizer jest odpowiedzialny za wykonanie kroku wstępnego segmentacji.

public abstract class PreTokenizer

type PreTokenizer = class

Public MustInherit Class PreTokenizer

Dziedziczenie: Object
PreTokenizer

Pochodne: Microsoft.ML.Tokenizers.RegexPreTokenizer

Microsoft.ML.Tokenizers.RobertaPreTokenizer

Microsoft.ML.Tokenizers.WhiteSpace

Konstruktory

Nazwa	Opis
PreTokenizer()	Klasa bazowa dla wszystkich klas pre-tokenizers. PreTokenizer jest odpowiedzialny za wykonanie kroku wstępnego segmentacji.

Metody

Nazwa	Opis
CreateWhiteSpace(IReadOnlyDictionary<String,Int32>)	Utwórz nowe wystąpienie PreTokenizer klasy, które dzieli tekst w białych odstępach.
CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>)	Utwórz nowe wystąpienie PreTokenizer klasy, które dzieli tekst na granicę słowa lub wyrazu. Wyraz jest zestawem znaków alfabetu, liczbowego i podkreślenia.
CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>)	Utwórz nowe wystąpienie PreTokenizer klasy, które dzieli tekst na białe znaki lub znaki interpunkcyjne.
PreTokenize(ReadOnlySpan<Char>)	Pobierz przesunięcia i długości tokenów względem oryginalnego ciągu.
PreTokenize(String)	Pobierz przesunięcia i długości tokenów względem `text`wartości .

Dotyczy