Econometria e Machine Learning

O dilema de viés e variância em modelos preditivos

Modelos muito simples ou muito complexos podem gerar previsões com alto viés ou alta variância. A grande tarefa de quem trabalha com modelos preditivos é explorar uma especificação de modelo de modo a minimizar o erro de previsão, mas sem cair nestes dois extremos, o que pode ser desafiador. Neste artigo apresentamos estes conceitos e mostramos como analisar ajustes e previsões de modelos de modo a compreender o trade-off entre viés e variância.

Pré-processamento de dados: lidando com valores extremos e valores ausentes

No contexto de ciência de dados, é comum ter que lidar com problemas nos dados de um modelo preditivo, tais como valores extremos (outliers) ou valores ausentes (missing data). Em muitos casos, é preciso aplicar pré-processamentos para validar e utilizar um modelo, ao mesmo tempo que é necessário evitar o vazamento de dados (data leakage). Abordamos estes desafios neste artigo mostrando exemplos com dados reais em aplicações nas linguagens de programação R e Python.

Reamostragem em modelos preditivos: separação treino e teste

Nesse artigo abordamos técnicas de reamostragem de dados, conhecidas como separação treino/validação/teste, úteis para avaliar a acurácia de modelos preditivos. Mostramos exemplos e aplicações das técnicas, destacando o contexto e os desafios que podem emergir, usando problemas de regressão e de classificação com dados temporais e de corte transversal. Códigos dos exemplos são expostos nas linguagens de programação R e Python.

Análise de Regressão e Previsão

Gerar previsões quantitativas passa por satisfazer os seguintes passos: o quanto nós sabemos sobre os fatores que influenciam determinado evento ou variável? Existem dados disponíveis? O quanto as previsões que estamos fazendo podem afetar os eventos ou observações futuras? Satisfeita essas condições, podemos utilizar uma Regressão Linear para prever os valores de uma variável.

Fluxo de trabalho para Modelagem Preditiva

Neste artigo, apresentamos um guia de trabalho para desenvolver modelos preditivos, percorrendo as principais etapas para se ter uma visão geral do processo. Mostramos um exemplo prático de ponta a ponta, usando as linguagens de programação R e Python.