Fluxo de trabalho para Modelagem Preditiva

1.1 Organizar os dados

O primeiro passo é preparar os dados no formato correto para utilização em modelos. Esse processo pode envolver a coleta e importação de dados, a identificação de valores ausentes, filtros e outras tarefas de pré-processamento. O objetivo será, em geral, construir uma tabela de variáveis onde cada variável terá sua própria coluna, cada linha formará uma observação e os valores são armazenados nas células. Esse é o princípio de dados “tidy” e é o formato que a maioria das ferramentas para modelagem preditiva utilizam.

Vale dizer que muitos modelos têm pressupostos e requisitos diferentes, sendo que você precisará levar isso em consideração ao preparar os dados. Alguns exigem dados estacionários, outros exigem que não haja valores ausentes. Dessa forma, você precisará conhecer bem os seus dados enquanto os prepara e a análise exploratória é outra etapa que caminhará lado a lado.

1.2 Visualizar os dados

A visualização é uma etapa essencial para a compreensão dos dados. As variáveis apresentam tendência? Possuem sazonalidade? Há quebras ou observações extremas (outliers)? Observar seus dados, através de uma análise exploratória permite identificar estes padrões comuns e, posteriormente, especificar um modelo apropriado. Essa etapa pode andar em conjunto com a etapa de preparação dos dados, de modo que após entender os dados você talvez precise voltar a um passo anterior.

Existem diversas ferramentas para análise exploratória e visualização de dados. A melhor recomendação nessa etapa é: escolha uma ferramenta qualquer e foque no entendimento dos dados. Qualquer que seja a ferramenta utilizada, as perguntas (parágrafo anterior) feitas sobre os dados são as mesmas.

1.3 Especificar o modelo

Existem muitos modelos preditivos diferentes disponíveis para aplicação. Especificar um modelo apropriado para os dados é essencial para produzir previsões acuradas. Nesse sentido, além de conhecer os seus dados você precisará ter conhecimento sobre os modelos que pretende trabalhar. Papers publicados são, em geral, boas fontes para buscar esse conhecimento técnico. Ademais, grande parte dos modelos é apresentada de forma teórica e prática em Hyndman and Athanasopoulos (2021) e James et al. (2021), possuindo implementações em diversas linguagens de programação.

Em geral, a especificação de um modelo se dá por uma fórmula que representa o relacionamento entre as variáveis, por exemplo: y ~ x. As variáveis de resposta são especificadas à esquerda da fórmula e a estrutura do modelo, que pode variar, é escrita à direita. Essa representação tem apenas a finalidade de comunicar de forma clara e universal a definição de um modelo, sendo compreensível para a maioria das pessoas, mas há modelos que podem ser representados de outra forma.

1.4 Estimar o modelo

Uma vez que um modelo apropriado é definido, passamos à estimação ou treinamento do modelo com os dados. Isso significa que algum método estatístico, econométrico ou técnica de aprendizado de máquina será empregado aos dados para obtenção de estimativas que podem ser usadas para prever novos dados. É nessa etapa em que o conhecimento de matemática e a estatística podem fazer diferença, apesar de existirem ferramentas automatizadas ou soluções “caixa preta” para uso.

Em geral, existem implementações para a maioria dos modelos nas principais linguagens de programação, eliminando o trabalho de escrever um extenso código fonte. Em grande parte dos casos, basta importar um pacote e usar uma função que estima o modelo para uma determinada entrada de dados.

1.5 Avaliar a performance

Após termos um modelo estimado, é importante verificar o desempenho dele sobre dados que ele ainda não conhece, se o objetivo for previsão acurada. Existem várias ferramentas de diagnóstico disponíveis para verificar o ajuste do modelo, assim como medidas de acurácia que permitem comparar um modelo com outro: em problemas de regressão, o MSE é a métrica mais comumente utilizada; já em problemas de classificação, a taxa de erro é a métrica mais comumente utilizada.

Conforme a avaliação do modelo, é possível que sejam necessárias readequações para cumprir um objetivo, seja na especificação ou até mesmo nos dados utilizados. Em outras palavras, o fluxo de trabalho não é simplesmente um amontoado de procedimentos a serem implementados sequencialmente, mas sim um processo de descobrimento que envolve, na vida real, sucessivas tentativas e erros.

Além disso, há técnicas como a validação cruzada que auxiliam na tomada de decisão entre mais de um modelo. É sempre preferível ter mais de um modelo “candidato” potencialmente usado para modelagem preditiva, além de modelos básicos para simples comparação.

1.6 Produzir previsões

Com um modelo especificado, estimado e diagnosticado, é hora de produzir as previsões fora da amostra. Para alguns modelos é possível simplesmente chamar uma função especificando o número de novas previsões desejadas (modelos temporais univariados); para outros será necessário prover uma tabela com novos valores das variáveis regressoras utilizadas no modelo (modelos multivariados), que servirá para produzir as previsões da variável de interesse.

2 Exemplo prático com dados macroeconômicos

Agora vamos apresentar um exemplo do fluxo de trabalho para modelagem preditiva, percorrendo cada etapa do processo. Faremos um exercício didático e simples, apenas para introduzir a prática desse processo, mas utilizaremos dados e uma problemática real.

Por conveniência, abordaremos um problema de previsão para séries temporais, usando como variável resposta o PIB do Brasil, cuja previsibilidade é de grande interesse para diversos atores da sociedade. Os dados utilizados estão em frequência trimestral, taxa de crescimento acumulada em quatro trimestres, e a fonte é o IBGE.

Para obter o código, considere fazer parte do Clube AM e tenha acesso a exercícios semanais de Ciência da Dados em R e Python!

                           pib
data                          
2022-01-01 00:00:00+00:00  5.2
2022-04-01 00:00:00+00:00  3.2
2022-07-01 00:00:00+00:00  3.0
2022-10-01 00:00:00+00:00  2.9
2023-01-01 00:00:00+00:00  3.3