Tag: pré processamento

Introdução a pré-processamento de dados textuais para mineração de textos

Antes de qualquer análise, o texto precisa virar dado. Este artigo apresenta as etapas que fazem essa transformação — tokenização, remoção de stop words, stemming e lemmatizing —, explica o que cada uma resolve e em que ordem se encadeiam. No exercício aplicado a uma ata do COPOM, 42% das palavras são descartadas antes que a análise comece.

Pré-processamento de dados: lidando com valores extremos e valores ausentes

No contexto de ciência de dados, é comum ter que lidar com problemas nos dados de um modelo preditivo, tais como valores extremos (outliers) ou valores ausentes (missing data). Em muitos casos, é preciso aplicar pré-processamentos para validar e utilizar um modelo, ao mesmo tempo que é necessário evitar o vazamento de dados (data leakage). Abordamos estes desafios neste artigo mostrando exemplos com dados reais em aplicações nas linguagens de programação R e Python.

Tag: pré processamento

Introdução a pré-processamento de dados textuais para mineração de textos

Pré-processamento de dados: lidando com valores extremos e valores ausentes

Boletim AM

Encontre o seu conteúdo

Categorias

Artigos mais acessados

Ciclo Econômico: Economia no Curto Prazo

Simulação de cenários com distribuição de probabilidades

Simulação de Monte Carlo: respondendo perguntas de probabilidade sem fórmula

Introdução à Macroeconomia: conceitos, modelos e ferramentas

Tabelas de contingência e o teste qui-quadrado: analisando duas variáveis qualitativas

Estatísticas robustas: mediana, IQR e MAD quando o outlier manda no resultado