Avaliação de Previsões Macroeconométricas

Uma extensão natural para a criação de modelos macroeconométricos é, certamente, avaliar o quão bom ou ruim é a previsão gerada. Para isso, existem algumas medidas que procuram qualificar a distância entre a previsão feita e o valor efetivamente observado. Neste artigo, verificamos algumas dessas medidas.

Introdução

Vimos uma introdução à estratégias de previsão macroeconométrica, que elenca as seguintes etapas:

  • Definição do problema
  • Coleta dos Dados
  • Análise dos Dados
  • Identificação do modelo e estimação
  • Diagnóstico dos modelos estimados
  • Implantação do modelo de previsão
  • Avaliação do modelo de previsão

Uma extensão natural a esse tipo de trabalho é, certamente, avaliar o quão bom ou ruim é a previsão gerada. Para tanto, vamos entender quais os conceitos, a estratégia e como avaliar as previsões que desejamos realizar.

Previsões

Após as etapas de estimação e diagnóstico dos modelos estimados, encontramos um modelo candidato, o próximo passo é avaliar a qualidade das previsões geradas pelo modelo. E por previsões vale distinguir os dois tipos:

Após as etapas de estimação e diagnóstico dos modelos estimados, encontramos um modelo candidato, o próximo passo é avaliar a qualidade das previsões geradas pelo modelo. E por previsões vale distinguir os dois tipos:

  • Previsão estática: usa na previsão de y_{T+h} o valor de y_{T+h-1}. Também
    chamada de previsão um passo à frente, pois atualiza o valor da série até o período anterior para fazer a próxima previsão (útil para verificar o ajustamento do modelo).
  • Previsão dinâmica: não usa a informação adicional para realimentar as previsões. Isto é, para prever y_{T+2}, usa-se E(y_{T+1}).

Uma boa estratégia para avaliar as previsões de um modelo de séries temporais é:

  1. Restringir a amostra de dados, omitindo um horizonte h de observações, geralmente do final da amostra;
  2. Estimar o modelo com a amostra restringida e gerar previsão dinâmica  passos a frente, conhecida como previsão pseudo out-of-sample;
  3. Calcular o erro de previsão e_{T+h} = y_{T+h} - E(y_{T+h|T}), ou seja, os valores observados (que ficaram omitidos na estimação) menos o que foi previsto “fora da amostra” pelo modelo;
  4. Calcular métricas de acurácia (ME, MSE, RMSE, MAE, MPE, MAPE, U de Theil, etc.) para comparar a previsão entre modelos;
  5. Escolher o modelo que apresenta a melhor (menor) métrica de acurácia. Em geral, utiliza-se o RMSE para decidir entre modelos.

Cenários e variáveis exógenas

Note que, para o caso de modelos multivariados, você precisará dos valores futuros das variáveis independentes para poder gerar previsões para a variável dependente. Ou seja, você precisa informar uma matriz com os  valores futuros das variáveis independentes no momento da previsão. Nos demais casos, modelos univariados e modelos multivariados endógenos, não há tal necessidade, a menos que contenham variáveis exógenas como dummies sazonais (nesse caso, informe uma matriz de dummies sazonais com  linhas).

Para quando isso é necessário, há múltiplas possibilidades: você pode simplesmente calcular a média histórica e usar esses valores na previsão; informar valores com base em previsões externas (Focus, por exemplo); informar valores com base em leitura da conjuntura econômica (com algum viés e arbitrariedade); etc.

Por fim, uma vez que você tenha um modelo candidato com boa performance em previsões, você pode usar a amostra completa de dados para gerar previsões fora da amostra.

Definindo as métricas

A primeira consiste simplesmente na média da série de erros de previsão, isto é, o erro médio (ME), dado conforme segue:

(1)   \begin{equation*} ME = \frac{\sum_t^T{\varepsilon_t}}{T} \end{equation*}

A segunda é a raiz quadrada do erro médio (RMSE), dada por

(2)   \begin{equation*} RMSE = \sqrt{\frac{\sum_t^T{\varepsilon_t^2}}{T}} \end{equation*}

A terceira medida, por sua vez, é dada pela média dos erros em valores absolutos ou simplesmente erro médio absoluto (MAE), expressa conforme

(3)   \begin{equation*} MAE = \frac{\sum_t^T{|\varepsilon_t|}}{T} \end{equation*}

Essas três medidas fazem parte do grupo de medidas que dependem da escala na qual os dados estão. Logo, elas podem ser utilizadas para efeito de comparação de diferentes modelos aplicados a mesma amostra de dados.

A quarta medida é o erro médio percentual (MPE), isto é,

(4)   \begin{equation*} MPE = \frac{\sum_t^T{p_t}}{T} \end{equation*}

A quinta medida é o **erro médio absoluto percentual** (MAPE), dado conforme

(5)   \begin{equation*} MAPE = \frac{\sum_t^T{|p_t|}}{T} \end{equation*}

Por se tratarem de percentuais, essas medidas não são sensíveis à escala dos dados.

A sexta medida fornecida é a ACF1, isto é, o coeficiente de autocorrelação parcial de primeira ordem. Ele nos dá uma ideia de existência de estrutura nos erros de previsão, que, por suposição, deveriam ser um **ruído branco**. Quanto maior esta medida, maior será o indicio de existência de estrutura.

Por fim, temos o U de Theil dado por

(6)   \begin{equation*} \text{Theil's U} = \sqrt{\frac{\sum_t^T p_t^2}{\sum_t^T(\frac{Y_{t+1}-Y_t}{Y_t})^2}} \end{equation*}

Essa medida pertence à categoria de medidas relativas. Será dada pela razão entre a raiz quadrada da média do erro percentual quadrático e a raiz quadrada da média da taxa de variação percentual quadrática da série observada.

Em outros termos, o U de Theil nada mais é do que a comparação entre o modelo em questão e um simples passeio aleatório. Quanto menor o índice, portanto, melhor será o modelo, se comparado a um passeio aleatório.

___________________________________
Quer aprender mais?

Seja um aluno da nossa trilha de Macroeconomia Aplicada  e aprenda a criar projetos voltados para a Macroeconomia.

Referências

Hyndman, R. J., e G. Athanasopoulos. 2013. Forecasting: Principles and Practice. OTexts.

Compartilhe esse artigo

Facebook
Twitter
LinkedIn
WhatsApp
Telegram
Email
Print

Comente o que achou desse artigo

Outros artigos relacionados

Quais são as ferramentas de IA?

Um aspecto crucial dos Agentes de IA é a sua capacidade de tomar ações, que acontecem por meio do uso de Ferramentas (Tools). Neste artigo, vamos aprender o que são Tools, como defini-las de forma eficaz e como integrá-las ao seu Agente por meio da System Prompt. Ao fornecer as Tools certas para o seu Agente — e ao descrever claramente como essas Tools funcionam — você pode aumentar drasticamente o que sua IA é capaz de realizar.

Otimizando um Portfólio de Investimentos com Machine Learning

A construção de portfólio ótimo refere-se ao processo de alocar eficientemente capital entre um conjunto predefinido de ativos ou títulos. O campo da construção de portfólio tem sido extensivamente estudado por acadêmicos e profissionais desde a década de 1950, quando Markowitz introduziu sua inovadora abordagem de média-variância para a construção de portfólio. Diante disso, podemos melhorar o processo de alocação de peso de um investimento em um portfólio através do Aprendizado não supervisionado com a aplicação do Hierarchical Risk Parity (HRP). Neste exercício, realizamos uma introdução ao método e mostramos os resultados de um exemplo criado através do Python.

Como usar IA + Python para o Mercado Financeiro?

Neste post, mostramos como a Inteligência Artificial, aliada à linguagem Python, está revolucionando o mercado financeiro. Exploramos as principais áreas onde essa tecnologia pode ser aplicada — como gestão de carteiras, análise de demonstrações contábeis, estratégias quantitativas, trading e análise macroeconômica — com foco em aplicações práticas e exemplos voltados para o contexto brasileiro.

Boletim AM

Receba diretamente em seu e-mail gratuitamente nossas promoções especiais e conteúdos exclusivos sobre Análise de Dados!

Boletim AM

Receba diretamente em seu e-mail gratuitamente nossas promoções especiais e conteúdos exclusivos sobre Análise de Dados!

como podemos ajudar?

Preencha os seus dados abaixo e fale conosco no WhatsApp

Boletim AM

Preencha o formulário abaixo para receber nossos boletins semanais diretamente em seu e-mail.