Nessa seção, fazemos uma apresentação completa de todo o conteúdo que será visto ao longo do Curso, bem como os exemplos detalhados ao longo do processo.

O uso de políticas públicas baseadas em evidências passa pelo fato simples de que os recursos são escassos. Além disso, a avaliação do impacto é importante para medir não somente se a ação governamental conseguiu ter efeito, mas também mensurar a magnitude do resultado, o que é necessário para estimar o custo benefício da política.

A utilização da avaliação de impacto de uma política pública tem dois tipos de usos principais: Interno e externo. No uso interno ela tem como objetivo subsidiar decisões acerca da operação do programa, a depender dos resultados encontrados. Se forem positivos, podem corroborar para manutenção ou ampliação da política. Se forem negativos, uma diminuição ou cancelamento. Com o maior detalhamento das análises, elas podem auxiliar um processo de redesenho do programa, de forma a aprimorar e potencializar os resultados. Já o uso externo tem como principal objetivo subsidiar a aplicação ou alteração de programas semelhantes em outros lugares ou períodos. Além disso, avaliações servem para a identificação das melhores práticas na área da política em questão, o que permite que policy makers possam implementar políticas com resultados já consagrados em outros lugares.

Nessa seção, além de uma introdução ao problema de avaliação de impacto de programas e políticas públicas, também fazemos uma resenha da literatura aplicada e dos principais métodos associados.

Como podemos saber o resultado potencial de uma política pública? O modelo de resultados potenciais, ou modelo causal de Rubin é uma abordagem que visa estimar o efeito causal do tratamento com base nos resultados que potencialmente o mesmo indivíduo teria sem o tratamento.

Vasculhamos, através de uma introdução com dados simulados, como estimar o impacto de qualquer intervenção. Falamos também sobre uma questão primordial em qualquer tipo de avaliação de impacto: quando associação não é causa, e como devemos fazer o devido controle dos grupos.

O principal objetivo da atribuição aleatória é evitar o viés de seleção. Como esse tipo de abordagem, as características dos indivíduos, que podem influenciar o resultado, são aleatorizadas entre os grupos. Olhando pela ótica do modelo de resultados potenciais, essa é a forma mais semelhante possível ao contrafactual ideal. Não podemos observar o mesmo grupo de indivíduos sendo tratados ou não-tratados ao mesmo tempo, mas podemos identificar grupos que seriam totalmente homogêneos se não fosse a presença da política em um deles. Assim, qualquer diferença de resultado na variável de interesse entre o grupo tratado e de controle possa ser explicada apenas pelo tratamento. O que gera, portanto, grande validação interna dos resultados encontrados.

Essa técnica é comumente chamada de Randomized controlled trial (RCT) ou, em português, estudo clínico randomizado controlado. Os estudos do tipo RCT são o padrão ouro da ciência há muitas décadas. São principalmente utilizados em testes clínicos ou farmacêuticos, como é o caso dos estudos de vacinas contra o Coronavírus. Entretanto, nas áreas de avaliação de políticas públicas e economia sua utilização começou a ter mais relevância apenas nos últimos anos. Mas isso não quer dizer que não haviam estudos desse tipo. Entre alguns exemplos notáveis estão o experimento RAND que avaliou o comportamento dos usuários de planos de saúde em relação aos valores de coparticipação e os experimentos sobre imposto de renda negativo.

Para verificar a aplicação prática desse tipo de abordagem, vamos atacar uma das perguntas clássicas nesta área: qual é o impacto de gastar dinheiro para financiar salas de aula menores no desempenho e nos resultados dos alunos? Através de dados hipotéticos, verificamos o efeito de um experimento STAR no Piauí.

Diferenças em Diferenças é um método de dados em painel muito popular na literatura econômica que calcula o efeito de um tratamento comparando a mudança média ao longo do tempo na variável de interesse para os tratados, em comparação com a mudança média para o grupo de controle. O principal requisito para esse método poder ser aplicado é o de que as tendências de ambos os grupos na variável de interesse sejam paralelas antes do tratamento. Ou seja, a hipótese é de que as diferenças não observáveis entre os grupos se mantenha constante ao longo do tempo. Assim, o efeito do tratamento é o responsável por alterações de trajetória.

Controle sintético é de certa forma semelhante a um modelo de diferenças-em-diferenças, mas utilizado normalmente quando há apenas uma unidade tratada. É feita a construção de uma combinação linear ponderada da variável de interesse das unidades do grupo de controle antes do tratamento ocorrer, o que faz com que a trajetória dessa combinação se torna semelhante à trajetória da unidade tratada. Assim, se as duas trajetórias divergirem após a implementação de uma política, isso pode se dever ao tratamento.

Por sua característica, esse é um método interessante para aplicação de avaliação de políticas nacionais. Um exemplo disso é o paper de Chamon et al (2019) que avaliou um programa de intervenção cambial por meio de swaps do Banco Central do Brasil em 2013. Utilizando outros países emergentes como controle, eles estimaram que a política levou a uma apreciação do Real em um excedente de 10%.

Supondo que o Paraná, em 2015, aplicou uma redução da alíquota do ICMS, verifica-se o impacto dessa política sobre o lucro das empresas de um determinado município do estado. Com o objetivo de controlar o experimento, utilizou-se uma cidade irmã limitrofe de Santa Catarina. Com efeito, pode-se aplicar o método diferenças-em-diferenças para saber o devido impacto da política.

Como verificar o Impacto de uma Lei após sua implementação? O Controle Sintético busca criar dados sinteticamente de uma unidade a partir de dados de outras unidades, com o objetivo de obter o grupo de controle. Realizamos o experimento para verificar o impacto da Lei Anti Fumo na Califórnia.

As técnicas de pareamento são utilizadas quando o tratamento não ocorre de maneira aleatória e os grupos de tratamento e controle acabam apresentando características muito diferentes. Esses métodos têm como objetivo balancear os grupos com base em covariáveis, ou seja, outros dados além da variável de interesse. É preciso que esses dados não sejam afetados pelo tratamento. Por exemplo, em um caso em que haja mais de um período de tempo é adequado parear pelos dados do período anterior ao tratamento. Na prática, essa técnica seleciona os indivíduos do grupo de controle que sejam os mais semelhantes possíveis com relação aos indivíduos que receberam o tratamento. Normalmente, esse procedimento faz com que algumas observações do grupo de controle sejam eliminadas da amostra.

Como exemplo para mostrar o poder dos métodos de pareamento utilizaremos o caso do impacto econômico do metrô de São Paulo. Estimamos o impacto da construção de estações de metrô na verticalização, medida pela proporção de domicílios que são apartamentos, dos domicílios próximos a elas. Mais especificamente, analisaremos o impacto das estações de metrô construídas em São Paulo entre 2002 e 2007, das linhas verdes e lilás.

Variáveis Instrumentais são um método que busca uma variável externa (instrumento) que é correlacionada com as variáveis explicativas, mas não com a variável de interesse. Assim, essa técnica permite estimar uma regressão quando as variáveis explicativas são correlacionadas com o termo de erro, ou seja, quando há endogeneidade. Basicamente, este método permite o instrumento dividir as variáveis explicativas em duas partes. Uma delas é correlacionada com o erro e a outra não. Assim, tornando possível separar a parte que não tem correlação para a estimação da regressão de forma não viesada.

Como tratar o impacto do gasto em seguraça pública no crime? Um importante instrumento para esse caso utiliza-se de ciclos eleitorais. A lógica pra utilização dessa variável é que gestores costumam aumentar a contratação de profissionais de segurança em períodos de véspera de eleição. Para replicarmos esse problema, iremos estimar o efeito dos gastos em segurança pública (Finbra) nos dados de furtos de veículo (SSP) nos municípios de São Paulo de 2013 a 2019.

O objetivo dessa abordagem é comparar observações que estejam perto de um limite que estabelece um limite entre o grupo de tratamento e o de controle. A lógica desse método é a de que indivíduos próximos a esse limite seriam extremamente semelhantes, sendo a designação para um ou para outro grupo completamente aleatória. A aplicação é possivelmente mais restritiva do que os outros métodos citados e muito dependente dos dados disponíveis e do critério de aplicação da política pública.

Replicamos o artigo de Carpenter and Dobkin (2009), que estimam o efeito do consumo de álcool na mortalidade usando a idade mínima para beber como limite no RDD. Essa é uma questão importante em termos de pesquisa, dado que diferentes países utilizam diferentes idades e isso pode ter impacto significativo em diversos fatores. Nos Estados Unidos, país do estudo, a idade mínima é 21, 3 anos maior do que a maior parte do resto do mundo.

Na última seção, explicamos detalhadamente os conceitos e o instrumental necessários para o cálculo desse retorno, incluindo aplicações práticas e um exemplo para que os conceitos sejam sedimentados. Conceitos como valor presente líquido, taxa interna de retorno e custo-efetividade são discutidos nesse capítulo.

Como traduzir em valores monetários os resultados de uma política pública? Usamos como exemplo a política “Mãe Paranense,” um conjunto de ações que visam reduzir a mortalidade materna e infantil no estado do Paraná.