Uma avaliação compara dois grupos, encontra p-valor de 0,32 e conclui que o programa não teve efeito. Essa conclusão vai além do que o resultado mostra, porque um p-valor alto também aparece quando o efeito existe e o estudo tem poucas observações para detectá-lo. Neste exercício, vamos ver por que um teste pode falhar em detectar um efeito que existe, e como calcular a chance que ele tinha de encontrá-lo.
Essa chance se chama poder estatístico: a probabilidade de o teste detectar um efeito quando ele existe. Sem conhecer o poder, não conseguimos interpretar um resultado não significante, porque ele pode indicar que o efeito não existe ou que o estudo tinha poucas observações para detectá-lo.
Na figura acima, cada coluna resume milhares de estudos simulados em que o efeito existe por construção, sempre com o mesmo tamanho. De uma coluna para a outra, muda apenas o número de observações por grupo.
No estudo com menos observações, a maioria das repetições conclui pela ausência de efeito. Quem lesse esses resultados sem considerar o poder diria que o efeito não existe, embora ele apareça em quase todas as repetições do estudo com mais observações.
📩 O modelo continua valendo. O que mudou é a velocidade
Quem já sabe econometria tem a parte difícil resolvida: saber qual pergunta fazer e como checar se a resposta faz sentido. No Boletim AM eu mostro, todo dia, como a IA entra nesse trabalho, sem substituir o julgamento de quem entende o modelo.
Todo dia no seu e-mail. Gratuito, e sai num clique.
Como um teste de hipóteses pode errar?
Um teste de hipóteses pode errar de duas maneiras, e o pesquisador escolhe a probabilidade de apenas uma delas.
O erro do tipo I é acusar um efeito que não existe. A probabilidade dele é o nível de significância, fixado pelo pesquisador, em geral em 5%.
O erro do tipo II é deixar passar um efeito que existe. A probabilidade dele resulta do desenho do estudo, e com frequência fica sem ser calculada.
O poder é o complemento da probabilidade do erro do tipo II, ou seja, a probabilidade de encontrar o efeito quando ele existe.
Na fórmula, β é a probabilidade do erro do tipo II e H0 é a hipótese nula, a de que não existe efeito.
Um poder de 80% significa que, se o efeito tiver o tamanho suposto, o teste o encontrará em 80% das repetições do estudo. Nos outros 20%, o mesmo efeito passará despercebido.
De que depende o poder?
O poder de um teste de comparação entre duas médias depende de três quantidades. A primeira é o tamanho do efeito, a diferença entre as médias dos grupos medida em desvios-padrão.
Na fórmula, μ1 e μ0 são as médias dos grupos e σ é o desvio-padrão comum. Ao dividir a diferença pelo desvio-padrão, expressamos o efeito em uma unidade comum, o que permite comparar estudos feitos com variáveis diferentes.
As outras duas quantidades são o tamanho da amostra, que entra no cálculo pela raiz quadrada, e o nível de significância. Um corte de significância mais exigente torna mais difícil rejeitar a hipótese nula, e por isso reduz o poder.
Quanto custa procurar um efeito pequeno?
Na figura acima, cada curva mostra o poder do teste para um tamanho de efeito, conforme cresce o número de observações por grupo. Todas sobem com a amostra e se estabilizam perto de 100%. A distância horizontal entre uma curva e a seguinte mostra quantas observações a mais precisamos para detectar um efeito menor.
A linha tracejada marca a convenção de 80% de poder. A curva do efeito grande cruza essa linha com poucas dezenas de observações por grupo, enquanto a do efeito pequeno precisa de várias centenas.
Na figura acima, cada barra mostra a amostra mínima por grupo para atingir 80% de poder com um dado tamanho de efeito.
Reduzir o efeito procurado pela metade exige aproximadamente quadruplicar a amostra, porque o tamanho da amostra entra no cálculo pela raiz quadrada.
Por isso, estudar efeitos pequenos exige amostras grandes, e avaliações com poucas observações raramente conseguem distinguir um efeito pequeno da ausência de efeito.
O efeito mínimo detectável
Quando a amostra já está definida, a pergunta se inverte: qual o menor efeito que esse estudo conseguiria encontrar com 80% de poder? Esse valor se chama efeito mínimo detectável.
Na figura acima, cada barra mostra o menor efeito detectável para um tamanho de amostra. As barras caem conforme a amostra cresce, mas a queda desacelera, porque o efeito mínimo diminui com a raiz quadrada da amostra. Por exemplo, dobrar a amostra reduz o efeito mínimo detectável em cerca de 30%.
O efeito mínimo detectável responde o que o estudo era capaz de detectar, antes de qualquer discussão sobre o que ele encontrou. Mesmo assim, o cálculo raramente acompanha a leitura de um resultado não significante.
Um estudo com poucas dezenas de observações por grupo que não encontra um efeito pequeno tinha, desde o início, pouca chance de encontrá-lo. Ou seja, esse resultado reflete o tamanho da amostra, e por isso não permite concluir que o efeito é zero.
Os limites do que o exercício mostra
O exercício trata do teste de comparação entre duas médias. Desenhos com múltiplos grupos, dados em painel ou desfechos binários têm fórmulas próprias, mas o poder continua dependendo do tamanho do efeito, do tamanho da amostra e do nível de significância.
O roteiro para ler um resultado não significante
| Passo | O que verificar |
|---|---|
| 1 | Qual o tamanho da amostra em cada grupo? |
| 2 | Qual o menor efeito que esse desenho detectaria com 80% de poder? |
| 3 | O efeito de interesse prático é menor que esse mínimo? Se for, o estudo não podia encontrá-lo. |
| 4 | O intervalo de confiança inclui efeitos relevantes? Se inclui, nada foi descartado. |
| 5 | Reporte o efeito estimado com o intervalo de confiança, que mostra a faixa compatível com os dados. |
Na prática, o quarto passo é o mais direto. Um intervalo de confiança largo, que vai de um efeito negativo relevante a um positivo relevante, mostra que o estudo não tinha precisão para distinguir entre a ausência de efeito e um efeito com relevância prática.
Considerações finais
O poder estatístico se define antes da coleta de dados. Quem planeja o estudo escolhe o tamanho da amostra a partir do efeito que quer ser capaz de detectar, e quem lê o estudo pronto faz o cálculo inverso: parte da amostra e chega ao menor efeito detectável.
O cálculo é curto, e serve tanto no planejamento quanto na leitura crítica do resultado de outro estudo.
- Analista de dados: dimensiona um teste A/B antes de rodá-lo, em vez de descobrir no fim que a amostra não bastava.
- Economista: lê avaliação de política pública verificando o efeito mínimo detectável antes de aceitar a conclusão de ausência de efeito.
- Gestor de risco: entende por que um backtest curto não distingue uma estratégia mediana de uma sem valor.
- Pesquisador: justifica o tamanho da amostra ao planejar o estudo, antes de ver qualquer resultado.
- Atuária: avalia se a base de sinistros tem tamanho para detectar a diferença de risco entre perfis.
Em todos esses casos, a primeira pergunta é qual efeito o estudo era capaz de detectar.
Você viu o poder; aprenda a dimensionar o teste
De estatística descritiva a testes de hipótese e regressão, com Python aplicado a dados econômicos reais desde a primeira aula. Quem quer acesso a todas as formações tem o AM Black, a assinatura anual.
Referências
BUTTON, K. S. et al. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, v. 14, n. 5, p. 365-376, 2013.
COHEN, J. Statistical Power Analysis for the Behavioral Sciences. 2. ed. Hillsdale: Lawrence Erlbaum Associates, 1988.
GELMAN, A.; CARLIN, J. Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors. Perspectives on Psychological Science, v. 9, n. 6, p. 641-651, 2014.
HOENIG, J. M.; HEISEY, D. M. The Abuse of Power. The American Statistician, v. 55, n. 1, p. 19-24, 2001.
WASSERSTEIN, R. L.; LAZAR, N. A. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, v. 70, n. 2, p. 129-133, 2016.
Leia também: Testes múltiplos e p-hacking
