Extrator de n-gramas

O que cada tamanho de n-grama revela

Como a ferramenta divide o seu texto

• Tudo é passado para minúsculas, de modo que “The” e “the” caem na mesma linha.
• Uma palavra é qualquer sequência contínua de letras, dígitos ou apóstrofos. Qualquer outro caractere (pontuação, símbolos, quebras de linha) funciona como separador e é descartado.
• Os limites das frases não são preservados. A última palavra de uma frase e a primeira da seguinte ainda podem formar um n-grama, portanto leia com cautela os pares que atravessam duas frases. Se isso for importante, analise frase a frase ou parágrafo a parágrafo.
• As stopwords são mantidas. Nada é filtrado por você: se quiser apenas expressões com carga semântica, apague essas linhas do CSV depois.
• As palavras são identificadas por espaços e pontuação. O português separa as palavras com espaços, então a ferramenta funciona de imediato. Lembre-se apenas de que não há lematização: “página”, “páginas” e “paginar” ocupam linhas diferentes; se precisar das formas canônicas, lematize antes com o spaCy. Já o chinês, o japonês e o tailandês não usam espaços entre palavras: uma frase inteira chega como uma única palavra e precisa ser segmentada antes (jieba, MeCab, um segmentador de tailandês).

Quando remover as stopwords

Stopwords são palavras funcionais de altíssima frequência: em inglês “the”, “a”, “of”, “and”; em português “de”, “que”, “e”, “para”. Mantê-las enche a lista de bigramas de ruído como “of the” e “de que”. Este extrator as conserva, portanto apague essas linhas do arquivo exportado quando quiser expressões com carga semântica, e mantenha-as quando estiver estudando estilo, atribuição de autoria ou modelos de linguagem em que as palavras funcionais é que carregam o sinal.

Caso de uso em SEO

Para um artigo que mira “nginx config generator”, verifique:

• Se o seu bigrama e o seu trigrama alvo aparecem no top 20. Se “nginx config” está na 40ª posição, provavelmente você está usando pouco o termo.
• Se você não está fazendo keyword stuffing. Se ele está em primeiro lugar por uma margem enorme, o texto é lido como spam.
• Se existem vizinhos semânticos. Bigramas relacionados como “server block”, “proxy pass” e “ssl certificate” confirmam aos motores de busca que o tema foi realmente coberto.

Uso em PLN e no meio acadêmico

• Os modelos de linguagem usam frequências de n-gramas para suavização e backoff (Kneser-Ney, Good-Turing).
• Os estudos de atribuição de autoria comparam as distribuições de trigramas entre os autores candidatos.
• A avaliação de tradução automática (BLEU) pontua a sobreposição de n-gramas entre a tradução produzida e a tradução de referência.