microsoftml.n_gram: Konverterar text till funktioner med hjälp av n-gram

Usage

microsoftml.n_gram(ngram_length: numbers.Real = 1,
    skip_length: numbers.Real = 0, all_lengths: bool = True,
    max_num_terms: list = [10000000], weighting: str = 'Tf')

Description

Extraherar NGrams från text och konverterar dem till vektor med hjälp av ordbok.

Arguments

ngram_length

Ngram-längd (inställningar).

skip_length

Maximalt antal tokens att hoppa över när man konstruerar ett ngram (inställningar).

all_lengths

Om alla ngram-längder upp till NgramLength ska inkluderas eller endast NgramLength (inställningar).

max_num_terms

Maximalt antal ngram att lagra i ordboken (inställningar).

Viktning

Viktningskriterierna (inställningarna).

Relaterat innehåll

• microsoftml.n_gram_hash: Konverterar text till funktioner med hashade n-gram
• microsoftml.featurize_text: Konverterar textkolumner till numeriska funktioner