SentencePieceNormalizer Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: SentencePieceNormalizer.cs

Źródło:: SentencePieceNormalizer.cs

Źródło:: SentencePieceNormalizer.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Normalizuj ciąg zgodnie z normalizacją SentencePiece.

public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizer

type SentencePieceNormalizer = class
    inherit Normalizer

Public NotInheritable Class SentencePieceNormalizer
Inherits Normalizer

Dziedziczenie: Object

Normalizer
SentencePieceNormalizer

Konstruktory

Nazwa	Opis
SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)	Tworzy obiekt SentencePieceNormalizer.

Właściwości

Nazwa	Opis
AddDummyPrefix	Wskazuje emitowanie fikcyjnego znaku prefiksu U+2581 na początku tokenu zdania podczas kodowania.
EscapeWhiteSpaces	Wskazuje ucieczkę białych spacji przez dodanie fikcyjnego znaku prefiksu U+2581.
RemoveExtraWhiteSpaces	Wskaż usunięcie dodatkowych białych spacji z oryginalnego ciągu podczas normalizacji.
SpecialTokens	Wskaż dodane tokeny.
TreatWhitespaceAsSuffix	Wskazuje traktowanie białych znaków jako sufiksu.

Metody

Nazwa	Opis
Normalize(ReadOnlySpan<Char>)	Normalizuj oryginalny ciąg zgodnie z normalizacją SentencePiece.
Normalize(String)	Normalizuj oryginalny ciąg zgodnie z normalizacją SentencePiece.

Dotyczy