Correlação não implica causalidade: essa é uma afirmação bastante famosa em estatística e relativamente bem estabelecida atualmente. E essa distinção é fundamental para entender avaliação de impacto, caso contrário corre-se o risco de fazer análises espúrias. Se, porventura, você nunca ouviu essa frase, a charge abaixo é autoexplicativa sobre os dois conceitos:
Assim fica fácil entender, não? Se precisar ir um pouco mais a fundo sobre os conceitos, veja este post no blog da Análise Macro. Uma vez que você entendeu isso, fica mais evidente que...
Muitos problemas atuais são causais
No nosso cotidiano, nas políticas do governo vigente, nas decisões de negócios empresariais e etc., diversas são as perguntas que podem ser levantas e que se referem a relações de causalidade. Esse é um fato interessante pois revela o potencial de uso de métodos da avaliação de impacto.
Alguns exemplos de problemas de causalidade específicos de Políticas Públicas são:
- Mais recursos para escolas melhora a nota dos alunos?
- Mais policiais nas ruas = menos criminalidade?
- Saneamento básico reduz mortalidade infantil?
- Mais fiscalização reduz a corrupção?
- Beneficiários do Bolsa Família se saem melhor na escola?
- Bolsa Família reduz mortalidade infantil?
A resposta para estas perguntas talvez venha automaticamente como um palpite na sua cabeça, mas questões de causalidade não são tão simples assim. Para corretamente investigar estes problemas há uma grande área de estudo em estatística chamada inferência causal, que analisa a resposta de uma variável de interesse quando uma causa da variável de interesse é alterada.
Para contextos de problemas causais em que a estatística sozinha não consegue responder as perguntas, como em Políticas Públicas, será necessário utilizar ferramentas como a econometria de avaliação de impacto. Ao empregar conjuntamente as disciplinas de estatística, econometria, matemática, economia e outras, uma avaliação de impacto permite responder questões de causalidade.
Avaliação de impacto
O que é e como funciona uma avaliação de impacto? A seguir vamos entender a intuição básica deste tópico, em um resumo não exaustivo. Se você quiser se aprofundar confira os cursos de microeconomia aplicada da Análise Macro.
- O que é?
"Avaliações de impacto são análises periódicas e objetivas de uma política pública, projeto ou programa planejado, em andamento ou concluído. [...] são usadas para responder perguntas específicas, geralmente relacionadas ao desenho, à implementação ou aos resultados." (GERTLER et al., 2018)
- Fórmula
Impacto causal = (Y|P=1) - (Y|P=0)
Como ler a fórmula: o impacto causal de um programa (P) sobre uma variável de resultado (Y) é a diferença entre o resultado (Y) com o programa (ou seja, quando P = 1) e o mesmo resultado (Y) sem o programa (isto é, quando P = 0).
Com um olhar atento sobre a fórmula e um pouco de reflexão é possível constatar que um desafio ao inferir o impacto causal é que é impossível medir uma mesma variável de resultado (Y) com e sem participação em um programa (P), ou seja, em dois estados diferentes. Isso é chamado de problema do contrafactual.
O contrafactual é o que teria acontecido — qual teria sido o resultado (Y) para um participante do programa — na ausência do programa (P), sendo representado pelo termo (Y|P=0) na fórmula de avaliação de impacto.
Sendo assim, existem algumas terminologias geralmente utilizadas para distinguir os dados analisados em uma avaliação de impacto:
- Tratados ou tratamento: são as unidades de observação (pessoa, família, empresa, governo, etc.) que participaram do programa.
- Controle ou não-tratado: são as unidades de observação (pessoa, família, empresa, governo, etc.) que não participaram do programa.
Métodos de avaliação de impacto
Para tentar isolar o efeito causal de um programa existe um número crescente de métodos estatísticos e de machine learning, dentre eles:
Nessa listagem há métodos simples e complexos, mas todos muito utilizados e com grande número de referências didáticas para se guiar. Os trabalhos citados são aplicações interessantes de cada um dos métodos para problemas e dados reais; vale a pena conferir!
Saiba mais
Confira os cursos da Análise Macro que tratam de avaliação de impacto e temas relacionados:
- Avaliação de Políticas Públicas: https://analisemacro.com.br/cursos/micro-aplicada/avaliacao-de-politicas-publicas-usando-o-r/
- Microeconometria: https://analisemacro.com.br/cursos/micro-aplicada/microeconometria-usando-o-r-2/
- Análise de Microdados Brasileiros: https://analisemacro.com.br/cursos/micro-aplicada/analise-de-microdados-brasileiros-usando-o-r/
Referências
Andrade, M. V., Chein, F., Souza, L. R. D., & Puig-Junoy, J. (2012). Income transfer policies and the impacts on the immunization of children: the Bolsa Família Program. Cadernos de saude publica, 28, 1347-1358.
Brodersen, K. H., Gallusser, F., Koehler, J., Remy, N., & Scott, S. L. (2015). Inferring causal impact using Bayesian structural time-series models. The Annals of Applied Statistics, 247-274.
Chamon, M., Garcia, M., & Souza, L. (2017). FX interventions in Brazil: a synthetic control approach. Journal of International Economics, 108, 157-168.
Chamon, M., Firpo, S., Mello, J. M. D., & Pieri, R. (2019). Electoral rules, political competition and fiscal expenditures: regression discontinuity evidence from Brazilian municipalities. The Journal of Development Studies, 55(1), 19-38.
Gertler, P. J., Martínez, S., Premand, P., & Rawlings, L. B. (2018). Avaliação de Impacto na Prática, segunda edição. World Bank Publications.
Mattos, E., & Mazetto, D. (2019). Assessing the impact of more doctors’ program on healthcare indicators in Brazil. World Development, 123, 104617.
