Microsoft.ML.Tokenizers Przestrzeń nazw

Opcje tokenizatora Bert.

Tokenizer dla modelu Bert.

Reprezentuje model kodowania par bajtów.

Umożliwia dekodowanie oryginalnego narzędzia BPE przez dołączenie wszystkich tokenów, a następnie zastąpienie sufiksu używanego do identyfikowania końca wyrazów przez białe spacje

Reprezentuje model kodowania par bajtów.

Trener Bpe odpowiedzialny za szkolenie modelu Bpe.

Reprezentuje model kodowania par bajtów. Implementowanie tokenizatora CodeGen opisanego w temacie https://huggingface.co/docs/transformers/main/en/model_doc/codegen#overview

Reprezentuje model kodowania par bajtów.

Reprezentuje model kodowania par bajtów.

LlamaTokenizer to SentencePieceTokenizer, który jest implementowany na podstawie elementu https://github.com/google/sentencepiece.

Normalizuj ciąg do małego formularza przed przetworzeniem go za pomocą tokenizatora.

Reprezentuje model używany podczas tokenizacji (np. BPE lub Word Piece lub Unigram).

Normalizuj ciąg przed przetworzeniem go za pomocą tokenizatora.

Reprezentuje model kodowania par bajtów. Implementowanie tokenizatora Phi2 opisanego w temacie https://huggingface.co/microsoft/phi-2

Klasa bazowa dla wszystkich klas pre-tokenizers. PreTokenizer jest odpowiedzialny za wykonanie kroku wstępnego segmentacji.

Pre-tokenizer dla tokenizatora Tiktoken.

Pre-tokenizer dla tokenizatora Roberta English.

Normalizuj ciąg zgodnie z normalizacją SentencePiece.

SentencePieceBpe to tokenizer, który dzieli dane wejściowe na tokeny przy użyciu modelu SentencePiece Bpe.

Ten podział zawiera podstawowy token podziału, a także jego przesunięcia w oryginalnym ciągu. Te przesunięcia znajdują się w odwołaniu original . Zawiera również wszystkie Token skojarzone z bieżącym podziałem.

Reprezentuje tokenizer kodowania szybkiej pary bajtów.

Reprezentuje token wygenerowany z procesu tokenizacji zawierającego podciąg tokenu, identyfikator skojarzony z podciągem tokenu i mapowanie przesunięcia na oryginalny ciąg.

Zapewnia abstrakcję tokenizatorów, umożliwiając kodowanie tekstu w tokenach i dekodowanie identyfikatorów tokenów z powrotem do tekstu.

Decoder ma obowiązek scalić daną listę tokenów w ciągu.

Kodowanie reprezentuje dane wyjściowe tokenizatora.

Element ma Trainer obowiązek wytrenować model. Karmimy go wierszami/zdaniami, a następnie możemy wytrenować dany Modelelement .

Normalizuj ciąg na wielkie litery przed przetworzeniem go za pomocą tokenizatora.

Pre-tokenizer dzielący tekst na granicy słowa. Wyraz jest zestawem znaków alfabetu, liczbowego i podkreślenia.

Opcje tokenizatora programu WordPiece.

Reprezentuje tokenizer programu WordPiece.

Reprezentowanie tokenu dodanego przez użytkownika na podstawie istniejącego słownictwa modelu. Wartość AddedToken można skonfigurować tak, aby określić zachowanie, które powinny mieć w różnych sytuacjach, takich jak:

• Czy powinny one być zgodne tylko z pojedynczymi słowami
• Czy należy uwzględnić dowolny biały znak po lewej lub prawej stronie

Reprezentuje token wygenerowany z procesu tokenizacji zawierającego podciąg tokenu, identyfikator skojarzony z podciągem tokenu i mapowanie przesunięcia na oryginalny ciąg.

Wynik kodowania tekstu.

Ustawienia używane do kodowania tekstu.

Zawiera znormalizowany ciąg i mapowanie na oryginalny ciąg.

Reprezentuje stan zgłoszonego postępu.