Introdução à Econometria de Avaliação de Impacto

Correlação não implica causalidade: essa é uma afirmação bastante famosa em estatística e relativamente bem estabelecida atualmente. E essa distinção é fundamental para entender avaliação de impacto, caso contrário corre-se o risco de fazer análises espúrias. Se,  porventura, você nunca ouviu essa frase, a charge abaixo é autoexplicativa sobre os dois conceitos:

Assim fica fácil entender, não? Se precisar ir um pouco mais a fundo sobre os conceitos, veja este post no blog da Análise Macro. Uma vez que você entendeu isso, fica mais evidente que...

Muitos problemas atuais são causais

No nosso cotidiano, nas políticas do governo vigente, nas decisões de negócios empresariais e etc., diversas são as perguntas que podem ser levantas e que se referem a relações de causalidade. Esse é um fato interessante pois revela o potencial de uso de métodos da avaliação de impacto.

Alguns exemplos de problemas de causalidade específicos de Políticas Públicas são:

  • Mais recursos para escolas melhora a nota dos alunos?
  • Mais policiais nas ruas = menos criminalidade?
  • Saneamento básico reduz mortalidade infantil?
  • Mais fiscalização reduz a corrupção?
  • Beneficiários do Bolsa Família se saem melhor na escola?
  • Bolsa Família reduz mortalidade infantil?

A resposta para estas perguntas talvez venha automaticamente como um palpite na sua cabeça, mas questões de causalidade não são tão simples assim. Para corretamente investigar estes problemas há uma grande área de estudo em estatística chamada inferência causal, que analisa a resposta de uma variável de interesse quando uma causa da variável de interesse é alterada.

Para contextos de problemas causais em que a estatística sozinha não consegue responder as perguntas, como em Políticas Públicas, será necessário utilizar ferramentas como a econometria de avaliação de impacto. Ao empregar conjuntamente as disciplinas de estatística, econometria, matemática, economia e outras, uma avaliação de impacto permite responder questões de causalidade.

Avaliação de impacto

O que é e como funciona uma avaliação de impacto? A seguir vamos entender a intuição básica deste tópico, em um resumo não exaustivo. Se você quiser se aprofundar confira os cursos de microeconomia aplicada da Análise Macro.

  • O que é?

"Avaliações de impacto são análises periódicas e objetivas de uma política pública, projeto ou programa planejado, em andamento ou concluído. [...] são usadas para responder perguntas específicas, geralmente relacionadas ao desenho, à implementação ou aos resultados." (GERTLER et al., 2018)

  • Fórmula

Impacto causal = (Y|P=1) - (Y|P=0)

Como ler a fórmula: o impacto causal de um programa (P) sobre uma variável de resultado (Y) é a diferença entre o resultado (Y) com o programa (ou seja, quando P = 1) e o mesmo resultado (Y) sem o programa (isto é, quando P = 0).

Com um olhar atento sobre a fórmula e um pouco de reflexão é possível constatar que um desafio ao inferir o impacto causal é que é impossível medir uma mesma variável de resultado (Y) com e sem participação em um programa (P), ou seja, em dois estados diferentes. Isso é chamado de problema do contrafactual.

contrafactual é o que teria acontecido — qual teria sido o resultado (Y) para um participante do programa — na ausência do programa (P), sendo representado pelo termo (Y|P=0) na fórmula de avaliação de impacto.

Sendo assim, existem algumas terminologias geralmente utilizadas para distinguir os dados analisados em uma avaliação de impacto:

  • Tratados ou tratamento: são as unidades de observação (pessoa, família, empresa, governo, etc.) que participaram do programa.
  • Controle ou não-tratado: são as unidades de observação (pessoa, família, empresa, governo, etc.) que não participaram do programa.

Métodos de avaliação de impacto

Para tentar isolar o efeito causal de um programa existe um número crescente de métodos estatísticos e de machine learning, dentre eles:

Nessa listagem há métodos simples e complexos, mas todos muito utilizados e com grande número de referências didáticas para se guiar. Os trabalhos citados são aplicações interessantes de cada um dos métodos para problemas e dados reais; vale a pena conferir!

Saiba mais

Confira os cursos da Análise Macro que tratam de avaliação de impacto e temas relacionados:

Referências

Andrade, M. V., Chein, F., Souza, L. R. D., & Puig-Junoy, J. (2012). Income transfer policies and the impacts on the immunization of children: the Bolsa Família Program. Cadernos de saude publica, 28, 1347-1358.

Brodersen, K. H., Gallusser, F., Koehler, J., Remy, N., & Scott, S. L. (2015). Inferring causal impact using Bayesian structural time-series models. The Annals of Applied Statistics, 247-274.

Chamon, M., Garcia, M., & Souza, L. (2017). FX interventions in Brazil: a synthetic control approach. Journal of International Economics, 108, 157-168.

Chamon, M., Firpo, S., Mello, J. M. D., & Pieri, R. (2019). Electoral rules, political competition and fiscal expenditures: regression discontinuity evidence from Brazilian municipalities. The Journal of Development Studies, 55(1), 19-38.

Gertler, P. J., Martínez, S., Premand, P., & Rawlings, L. B. (2018). Avaliação de Impacto na Prática, segunda edição. World Bank Publications.

Mattos, E., & Mazetto, D. (2019). Assessing the impact of more doctors’ program on healthcare indicators in Brazil. World Development, 123, 104617.

Compartilhe esse artigo

Facebook
Twitter
LinkedIn
WhatsApp
Telegram
Email
Print

Comente o que achou desse artigo

Outros artigos relacionados

Usando IA para prever o consumo de energia no Brasil com Python

Neste exemplo mostramos o poder da IA, especificadamente o uso de modelos de Machine Learning de Séries Temporais, para prever os valores da Curva de Carga Horária de Energia Elétrica do Sudeste disponibilizada pela ONS. Para realizar as previsões, além dos modelos, empregamos métodos de machine learning já conhecidos, como cross-validation, usando a biblioteca MlForecast do Python.

Controle Sintético: Lei Anti Fumo na Califórnia

O que é Controle Sintético e como podemos utilizar essa ferramenta para auxiliar no estudo da avaliação de impacto? Neste post, oferecemos uma breve introdução a esse importante método da área de inferência causal, acompanhado de um estudo de caso para uma compreensão mais aprofundada de sua aplicação. Os resultados foram obtidos por meio da implementação em Python, como parte integrante do nosso curso sobre Avaliação de Políticas Públicas utilizando esta linguagem de programação.

Previsão de crises financeiras com IA usando Python

Fazer investimentos sem analisar dados é como atirar no escuro. Ninguém quer estar numa posição errada na hora que uma nova crise estourar. Para mitigar estes riscos, modelos de probabilidade de recessão podem trazer informações relevantes para a tomada de decisão. Neste artigo mostramos uma aplicação destes modelos para a economia norte-americana, usando o ferramental de pacotes do Python.

como podemos ajudar?

Preencha os seus dados abaixo e fale conosco no WhatsApp

Boletim AM

Preencha o formulário abaixo para receber nossos boletins semanais diretamente em seu e-mail.