Introdução à Econometria de Avaliação de Impacto

Correlação não implica causalidade: essa é uma afirmação bastante famosa em estatística e relativamente bem estabelecida atualmente. E essa distinção é fundamental para entender avaliação de impacto, caso contrário corre-se o risco de fazer análises espúrias. Se,  porventura, você nunca ouviu essa frase, a charge abaixo é autoexplicativa sobre os dois conceitos:

Assim fica fácil entender, não? Se precisar ir um pouco mais a fundo sobre os conceitos, veja este post no blog da Análise Macro. Uma vez que você entendeu isso, fica mais evidente que...

Muitos problemas atuais são causais

No nosso cotidiano, nas políticas do governo vigente, nas decisões de negócios empresariais e etc., diversas são as perguntas que podem ser levantas e que se referem a relações de causalidade. Esse é um fato interessante pois revela o potencial de uso de métodos da avaliação de impacto.

Alguns exemplos de problemas de causalidade específicos de Políticas Públicas são:

  • Mais recursos para escolas melhora a nota dos alunos?
  • Mais policiais nas ruas = menos criminalidade?
  • Saneamento básico reduz mortalidade infantil?
  • Mais fiscalização reduz a corrupção?
  • Beneficiários do Bolsa Família se saem melhor na escola?
  • Bolsa Família reduz mortalidade infantil?

A resposta para estas perguntas talvez venha automaticamente como um palpite na sua cabeça, mas questões de causalidade não são tão simples assim. Para corretamente investigar estes problemas há uma grande área de estudo em estatística chamada inferência causal, que analisa a resposta de uma variável de interesse quando uma causa da variável de interesse é alterada.

Para contextos de problemas causais em que a estatística sozinha não consegue responder as perguntas, como em Políticas Públicas, será necessário utilizar ferramentas como a econometria de avaliação de impacto. Ao empregar conjuntamente as disciplinas de estatística, econometria, matemática, economia e outras, uma avaliação de impacto permite responder questões de causalidade.

Avaliação de impacto

O que é e como funciona uma avaliação de impacto? A seguir vamos entender a intuição básica deste tópico, em um resumo não exaustivo. Se você quiser se aprofundar confira os cursos de microeconomia aplicada da Análise Macro.

  • O que é?

"Avaliações de impacto são análises periódicas e objetivas de uma política pública, projeto ou programa planejado, em andamento ou concluído. [...] são usadas para responder perguntas específicas, geralmente relacionadas ao desenho, à implementação ou aos resultados." (GERTLER et al., 2018)

  • Fórmula

Impacto causal = (Y|P=1) - (Y|P=0)

Como ler a fórmula: o impacto causal de um programa (P) sobre uma variável de resultado (Y) é a diferença entre o resultado (Y) com o programa (ou seja, quando P = 1) e o mesmo resultado (Y) sem o programa (isto é, quando P = 0).

Com um olhar atento sobre a fórmula e um pouco de reflexão é possível constatar que um desafio ao inferir o impacto causal é que é impossível medir uma mesma variável de resultado (Y) com e sem participação em um programa (P), ou seja, em dois estados diferentes. Isso é chamado de problema do contrafactual.

contrafactual é o que teria acontecido — qual teria sido o resultado (Y) para um participante do programa — na ausência do programa (P), sendo representado pelo termo (Y|P=0) na fórmula de avaliação de impacto.

Sendo assim, existem algumas terminologias geralmente utilizadas para distinguir os dados analisados em uma avaliação de impacto:

  • Tratados ou tratamento: são as unidades de observação (pessoa, família, empresa, governo, etc.) que participaram do programa.
  • Controle ou não-tratado: são as unidades de observação (pessoa, família, empresa, governo, etc.) que não participaram do programa.

Métodos de avaliação de impacto

Para tentar isolar o efeito causal de um programa existe um número crescente de métodos estatísticos e de machine learning, dentre eles:

Nessa listagem há métodos simples e complexos, mas todos muito utilizados e com grande número de referências didáticas para se guiar. Os trabalhos citados são aplicações interessantes de cada um dos métodos para problemas e dados reais; vale a pena conferir!

Saiba mais

Confira os cursos da Análise Macro que tratam de avaliação de impacto e temas relacionados:

Referências

Andrade, M. V., Chein, F., Souza, L. R. D., & Puig-Junoy, J. (2012). Income transfer policies and the impacts on the immunization of children: the Bolsa Família Program. Cadernos de saude publica, 28, 1347-1358.

Brodersen, K. H., Gallusser, F., Koehler, J., Remy, N., & Scott, S. L. (2015). Inferring causal impact using Bayesian structural time-series models. The Annals of Applied Statistics, 247-274.

Chamon, M., Garcia, M., & Souza, L. (2017). FX interventions in Brazil: a synthetic control approach. Journal of International Economics, 108, 157-168.

Chamon, M., Firpo, S., Mello, J. M. D., & Pieri, R. (2019). Electoral rules, political competition and fiscal expenditures: regression discontinuity evidence from Brazilian municipalities. The Journal of Development Studies, 55(1), 19-38.

Gertler, P. J., Martínez, S., Premand, P., & Rawlings, L. B. (2018). Avaliação de Impacto na Prática, segunda edição. World Bank Publications.

Mattos, E., & Mazetto, D. (2019). Assessing the impact of more doctors’ program on healthcare indicators in Brazil. World Development, 123, 104617.

Compartilhe esse artigo

Facebook
Twitter
LinkedIn
WhatsApp
Telegram
Email
Print

Comente o que achou desse artigo

Outros artigos relacionados

O que são Agentes de IA?

O que é um agente e como ele funciona? Como agentes tomam decisões usando racioncínio e planejamento? Neste artigo, nosso objetivo é investigar estas questões para construir um conhecimento fundamental sobre AI agents.

As diferentes formas de avaliar o erro de um modelo de previsão

Existem tantas siglas para métricas de desempenho de modelos preditivos que é fácil se perder na sopa de letrinhas. Neste artigo, fornecemos uma visão geral das principais métricas para avaliar e comparar modelos de regressão e classificação, usando exemplos com dados em Python.

Previsão do CPI usando text mining

Exploramos neste exercício, de forma similar a Ferreira (2022), a utilidade de tópicos latentes extraídos dos comunicados do FOMC, por um modelo LDA, na previsão da inflação norte-americana, medida pelo CPI. O objetivo é comparar um modelo econométrico simples, tal como um AR-GAP de Faust e Wright (2013), em especificações com e sem os fatores textuais.

Boletim AM

Receba diretamente em seu e-mail gratuitamente nossas promoções especiais e conteúdos exclusivos sobre Análise de Dados!

Boletim AM

Receba diretamente em seu e-mail gratuitamente nossas promoções especiais e conteúdos exclusivos sobre Análise de Dados!

como podemos ajudar?

Preencha os seus dados abaixo e fale conosco no WhatsApp

Boletim AM

Preencha o formulário abaixo para receber nossos boletins semanais diretamente em seu e-mail.