A ausência de avaliação de impacto de programas é um desafio frequente em muitas esferas do setor público. Isso é frequentemente atribuído à predominância do senso comum e da subjetividade nas avaliações. Essa lacuna não só resulta da falta de análise de dados, mas também da realização de análises inadequadas. Pior ainda, não se faz análises prévias ou posteriores programadas. Então, como podemos realizar uma avaliação adequada de políticas/programas? Este artigo aborda essa questão, destacando o exemplo prático de como avaliar o impacto do salário mínimo no desemprego em redes de fast food, um exercício ensinado em nosso curso de Avaliação de Políticas Públicas utilizando Python.
Estimando o efeito do salário mínimo no desemprego em redes de fast food
Card e Krueger (1993) estimaram o efeito do aumento do salário mínimo, ocorrido em Abril de 1992, na quantidade de empregados dos restaurantes de fast food em New Jersey. Para isso, utilizaram como grupo de controle, o comportamento do emprego em lojas do estado vizinho, Pensilvânia.
A base de dados tem informações para quatro redes de fast food dividas em centenas de unidades por estado. Os dados de emprego são de Fevereiro e Novembro de 1992, ou seja, 2 meses antes e 6 meses depois da política.
Quer saber como essa análise foi construída? Seja aluno do nosso curso Avaliação de Políticas Públicas usando Python, e tenha acesso às aulas teóricas e práticas, com o código disponibilizado em Python.
loja | horas_abertas | cadeia | empresa1 | empresa2 | empresa3 | empregos_antes | empregos_depois | estado | |
---|---|---|---|---|---|---|---|---|---|
0 | 56 | 12.0 | 4 | 0 | 0 | 0 | 34.0 | 20.0 | Pensilvânia |
1 | 61 | 12.0 | 4 | 0 | 0 | 0 | 24.0 | 35.5 | Pensilvânia |
2 | 445 | 18.0 | 1 | 1 | 0 | 0 | 70.5 | 29.0 | Pensilvânia |
3 | 451 | 24.0 | 1 | 1 | 0 | 0 | 23.5 | 36.5 | Pensilvânia |
4 | 455 | 10.0 | 2 | 0 | 1 | 0 | 11.0 | 11.0 | Pensilvânia |
Estimando o Efeito
Primeiramente, vamos realizar uma análise exploratória de dados. Queremos saber se há uma mudança clara nos valores da variável de interesse (empregados) antes e depois da intervenção. Podemos realizar essa análise utilizando o gráfico de dispersão, separando o grupo de controle (Pensilvânia) e grupo de tratamento (Pensilvânia).
Diferenças-em-Diferenças
Diferenças em Diferenças (Diff in Diff) é uma técnica estatística utilizada para avaliar o impacto causal de uma intervenção, política ou evento sobre uma variável de interesse. A ideia principal é comparar a mudança ao longo do tempo na variável de interesse entre um grupo de tratamento que foi exposto à intervenção e um grupo de controle que não foi exposto. Isso é feito subtraindo a mudança média na variável de interesse no grupo de controle da mudança média no grupo de tratamento.
A equação básica do Diff in Diff pode ser representada da seguinte forma:
Onde:
- é a variável de interesse para a unidade i no período de tempo t.
- é uma constante.
- é o efeito médio do tratamento.
- é o efeito médio do tempo após o tratamento.
- é o efeito da interação entre tratamento e tempo após o tratamento.
- é uma variável indicadora que é 1 se a unidade pertence ao grupo de tratamento e 0 caso contrário.
- é uma variável indicadora que é 1 se o período de tempo é após a implementação do tratamento e 0 caso contrário.
- refere-se às variáveis de controles que garantem a independência condicional do modelo.
- é o termo de erro.
A interpretação do coeficiente é o efeito causal do tratamento sobre a variável de interesse ao longo do tempo após o tratamento, controlando os efeitos fixos do tempo e do tratamento.
Para o nosso caso, rodamos a regressão sem e com controles. O parâmetro de interesse é a interação entre a variável binária de tempo (1: depois, 0: antes) e a variável de tratamento (1: New Jersey, 0:Pensilvânia). Verificamos os resultados abaixo (DID sem controle; DID2 com controles).
Tabela DID:
======================================================================================
coef std err t P>|t| [0.025 0.975]
--------------------------------------------------------------------------------------
Intercept 23.7045 1.126 21.051 0.000 21.491 25.918
tempo_b -1.8788 1.592 -1.180 0.239 -5.009 1.251
tratamento -4.0662 1.351 -3.009 0.003 -6.722 -1.410
tempo_b:tratamento 2.8138 1.911 1.472 0.142 -0.942 6.570
======================================================================================
Tabela DID2:
======================================================================================
coef std err t P>|t| [0.025 0.975]
--------------------------------------------------------------------------------------
Intercept 5.7302 3.089 1.855 0.064 -0.341 11.802
tempo_b -1.8788 1.309 -1.435 0.152 -4.452 0.694
tratamento -3.1467 1.118 -2.814 0.005 -5.345 -0.949
tempo_b:tratamento 2.8138 1.571 1.791 0.074 -0.274 5.902
empresa1 -4.5846 1.590 -2.884 0.004 -7.709 -1.460
empresa2 -8.0081 1.433 -5.588 0.000 -10.825 -5.191
empresa3 -8.1873 1.693 -4.837 0.000 -11.514 -4.860
horas_abertas 1.5846 0.232 6.831 0.000 1.129 2.041
======================================================================================
O que podemos compreender do modelo sem controle?
- Intercepto:
- O intercepto no contexto do diff-in-diff é interpretado como o valor médio da variável dependente (neste caso, quantidade de empregados) no grupo de controle (Pensilvânia) no período de referência (2 meses antes da implementação da política).
- Tempo_b:
- A variável de tempo_b refere-se às mudanças ao longo do tempo (8 meses) para todos os valores da variável dependente (número de empregados, neste caso). É uma medida de como o número de empregos mudaram no grupo de tratamento e no grupo de controle ao longo do período considerado.
- Tratamento:
- A variável de tratamento mede o efeito médio de número de empregados que não é causado pela implementação da política. Neste contexto, seria a diferença média nos número de empregados entre o grupo de tratamento (New Jersey) e o grupo de controle (Pensilvânia) antes da implementação da política.
- Tempo_b:Tratamento:
- A interação entre tempo_b e tratamento é a chave no diff-in-diff. Essa variável revela a diferença média nos número de empregados causada pela implementação da política. Em outras palavras, ela captura como o efeito do tratamento varia ao longo do tempo em comparação com o grupo de controle.