microsoftml.n_gram: Converte texto em características usando n-gramas

Usage

microsoftml.n_gram(ngram_length: numbers.Real = 1,
    skip_length: numbers.Real = 0, all_lengths: bool = True,
    max_num_terms: list = [10000000], weighting: str = 'Tf')

Description

Extrai NGrams do texto e os converte para vetores usando o dicionário.

Argumentos

ngram_length

Comprimento do Ngram (configurações).

skip_length

Número máximo de tokens a pular ao construir um ngram (configurações).

all_lengths

Se deve incluir todos os comprimentos de ngram até NgramLength ou apenas NgramLength (configurações).

max_num_terms

Número máximo de ngrams para armazenar no dicionário (configurações).

Ponderação

Os critérios de ponderação (configurações).

Conteúdo relacionado

• microsoftml.n_gram_hash: converte texto em recursos usando n-gramas de hash
• microsoftml.featurize_text: converte colunas de texto em recursos numéricos