Um fundo termina o ano no topo do ranking e, no ano seguinte, fica no meio da tabela. A leitura usual é que o gestor perdeu a mão. Mas o mesmo recuo aparece mesmo quando a habilidade do gestor fica constante, e a estatística tem uma explicação para ele. Neste exercício, vamos ver o que é a regressão à média e como distingui-la do efeito de uma decisão.
A regressão à média aparece sempre que um resultado depende em parte de habilidade e em parte de sorte. Nesses casos, o desempenho extremo de um período tende a ser seguido por um desempenho mais próximo da média.
No nosso exemplo, a pergunta é: as ações que mais subiram num ano continuam subindo mais no ano seguinte?

No gráfico acima, as ações foram divididas em quatro grupos, os quartis, pelo retorno no ano da classificação. O quarto quartil reúne as ações de melhor retorno do ano, e o primeiro reúne as de pior retorno. As barras claras mostram o retorno médio de cada grupo no ano da classificação, e as barras escuras mostram o retorno médio do mesmo grupo no ano seguinte.
O quarto quartil, que liderou no ano da classificação, recua na direção da média geral no ano seguinte, e o primeiro quartil sobe na direção da mesma média. Por isso, os grupos que partiram de extremos opostos terminam o ano seguinte numa faixa parecida.
📩 O modelo continua valendo. O que mudou é a velocidade
Quem já sabe econometria tem a parte difícil resolvida: saber qual pergunta fazer e como checar se a resposta faz sentido. No Boletim AM eu mostro, todo dia, como a IA entra nesse trabalho, sem substituir o julgamento de quem entende o modelo.
Todo dia no seu e-mail. Gratuito, e sai num clique.
O que é a regressão à média?
A regressão à média é a tendência de um resultado extremo ser seguido por outro mais próximo do valor típico da série. Francis Galton descreveu o fenômeno em 1886, ao observar que filhos de pais muito altos tendiam a ser mais baixos que os pais, e filhos de pais muito baixos tendiam a ser mais altos.
Para entender o mecanismo, separamos o resultado observado em duas partes.
Na equação acima, Xt é o resultado observado no período t, μ é o componente permanente, isto é, a parte que se repete de um período para o outro, e εt é o componente transitório, que muda a cada período e tem média zero.
Por exemplo, no caso de uma ação, o componente permanente é o retorno que o risco do negócio justifica, e o componente transitório reúne o que foi específico daquele ano, como uma safra, uma decisão regulatória ou um choque de preço.
Por que a seleção pelo topo produz o recuo?
O recuo vem do critério de seleção. Quando escolhemos as observações de maior Xt, escolhemos as que combinam componente permanente alto e componente transitório alto.
No período seguinte, o componente permanente se mantém, e o componente transitório é sorteado de novo, com média zero. Por isso, o resultado esperado para o período seguinte fica entre o valor observado e a média geral.
Na fórmula acima, ρ é a correlação entre períodos consecutivos e define o tamanho do recuo. Quando ρ fica entre 0 e 1, a previsão para o período seguinte fica mais próxima da média do que o valor observado.
Com ρ igual a 1, o desempenho de um período se repete integralmente no seguinte, e o recuo é zero. Com ρ igual a 0, o resultado passado deixa de informar sobre o futuro, e a melhor previsão para qualquer observação é a média geral. Dados de retorno de ações costumam ter ρ mais perto de 0 do que de 1.
Como o retorno de um ano se relaciona com o do ano seguinte?
O gráfico por quartis resume o comportamento de quatro grupos. Para ver a relação ação por ação, colocamos o retorno de cada ação num ano contra o retorno dela no ano seguinte.

No gráfico acima, cada ponto é uma ação num par de anos consecutivos. A linha tracejada cinza é a reta de 45 graus, que representa a persistência completa, isto é, cada ação repetindo no ano seguinte exatamente o retorno do ano anterior. A linha laranja é a reta estimada a partir dos dados.
A reta estimada é bem mais horizontal que a reta de 45 graus, e essa diferença de inclinação é a regressão à média. Para uma ação que ficou acima da média num ano, a previsão para o ano seguinte fica entre o retorno que ela teve e a média geral.
Os pontos ficam muito espalhados em torno da reta laranja, o que indica que a parte previsível do retorno de um ano para o outro é pequena. A mesma situação aparece no estudo da correlação entre duas variáveis: uma correlação positiva e fraca descreve uma relação real, mas com baixo poder de previsão.
Por que um grupo melhora sem nenhuma intervenção?
A regressão à média também afeta a avaliação de qualquer medida tomada depois de um resultado ruim. Por exemplo, quando uma empresa troca um processo logo depois do pior mês do ano, o mês seguinte tende a ser melhor mesmo que a troca não tenha efeito algum.
Para medir o tamanho dessa melhora automática, simulamos um caso sem intervenção, em que a habilidade de cada unidade é constante. Cada unidade recebe apenas um choque aleatório em cada período.

No gráfico acima, o resultado médio de todas as unidades fica no mesmo nível nos dois períodos, como esperado numa simulação em que a habilidade é constante. Já o grupo selecionado pelos piores resultados do primeiro período parte de muito abaixo da média e sobe no segundo.
Como a simulação não tem tratamento nem aprendizado, e a habilidade de cada unidade é idêntica nos dois períodos, a melhora vem apenas da forma como o grupo foi escolhido.
Por isso, avaliar uma medida aplicada a quem teve o pior resultado exige cuidado. A comparação do grupo antes e depois mistura o efeito da medida com o recuo estatístico, e o recuo aparece mesmo quando a medida não tem efeito.
Como calcular o recuo de antemão?
O tamanho do recuo pode ser previsto pela mesma fórmula do começo. Precisamos apenas da correlação entre os períodos e da distância do grupo até a média.
No nosso exemplo, o valor previsto pela fórmula e o valor observado na simulação coincidem até a segunda casa decimal. Como a fórmula não foi ajustada aos dados, o recuo é uma quantidade que podemos calcular antes de observar o segundo período.
Ou seja, com a correlação entre períodos de uma base de dados, sabemos quanto de melhora esperar sem nenhuma intervenção, e podemos usar esse número como referência para julgar o efeito de uma medida.
Como o recuo muda com o ponto de corte?

No gráfico acima, cada ponto de corte define um grupo, dos 5% piores até a metade inferior, e cada linha mostra o resultado médio desse grupo em um dos períodos. Quanto mais extremo o corte, mais distante da média o grupo parte, e maior o recuo no período seguinte. Um corte na mediana quase não produz recuo, porque o grupo já está perto da média.
Por isso, a regressão à média produz os maiores recuos nos casos que mais chamam atenção. O melhor fundo do ano, a escola com a pior nota e o mês de pior resultado são recortes extremos, e por isso apresentam o maior recuo automático.
Quais são os limites do exercício?
A amostra usa empresas que estão listadas hoje, e por isso deixa de fora as que saíram da bolsa ao longo do período. Esse problema é o viés de sobrevivência, e ele tende a melhorar artificialmente o retorno de qualquer estratégia testada assim. Quem reproduzir o exercício com outra carteira precisa considerar esse viés.
A regressão à média também depende de uma condição. Se o resultado de cada período fosse determinado apenas pela parte permanente, a correlação entre períodos seria 1 e o recuo seria zero. Ou seja, o recuo só aparece porque o componente transitório, a parte aleatória, existe.
Como distinguir o recuo do efeito de uma medida?
| Passo | O que verificar |
|---|---|
| 1 | O grupo foi selecionado por um resultado extremo? Se sim, devemos esperar recuo mesmo sem intervenção. |
| 2 | Qual a correlação entre períodos consecutivos na base de dados? Ela define o tamanho do recuo. |
| 3 | Calcular o recuo esperado pela fórmula antes de medir o efeito da intervenção. |
| 4 | Comparar o grupo tratado com um grupo de controle selecionado pelo mesmo critério, em vez de compará-lo com ele mesmo no passado. |
| 5 | Descontar um recuo maior quanto mais extremo for o recorte. |
Na prática, o quarto passo resolve o problema. A comparação do grupo consigo mesmo no período anterior mistura o efeito da medida com o recuo. Já um grupo de controle, selecionado pelo mesmo critério mas sem receber a medida, sofre o mesmo recuo que o grupo tratado, e por isso a diferença entre os dois grupos mede o efeito da medida.
Considerações finais
A regressão à média muda decisões antes de qualquer estimação. Quando sabemos que um grupo foi escolhido por um resultado extremo, deixamos de atribuir a uma decisão a melhora que veio do critério de seleção.
O diagnóstico e a simulação que distinguem recuo de efeito exigem poucas linhas de código, e o conceito se aplica a várias profissões:
- Analista de dados: reconhece o recuo antes de reportar um teste A/B iniciado depois de uma queda, quando parte da recuperação viria de qualquer jeito.
- Economista: avalia política pública aplicada aos municípios de pior indicador sabendo quanto da melhora é automática.
- Gestor de risco: desconfia de mudanças de processo adotadas logo após o pior mês da série, e mede o efeito contra um grupo de controle.
- Trader: lê ranking de fundos e de ativos sabendo que a liderança de um período informa pouco sobre o período seguinte.
- Atuária: trata o sinistro atípico de um ano como componente transitório antes de rever o nível de risco da carteira.
Em todos esses casos, a decisão é tomada logo depois de um resultado extremo, que é o momento em que a pressão por decidir costuma ser maior.
Você viu o recuo; aprenda a medir o efeito
De estatística descritiva a inferência e regressão, com Python aplicado a dados econômicos reais desde a primeira aula. Quem quer acesso a todas as formações tem o AM Black, a assinatura anual.
Referências
BARNETT, A. G.; VAN DER POLS, J. C.; DOBSON, A. J. Regression to the mean: what it is and how to deal with it. International Journal of Epidemiology, v. 34, n. 1, p. 215-220, 2005.
CAMPBELL, D. T.; KENNY, D. A. A Primer on Regression Artifacts. New York: Guilford Press, 1999.
GALTON, F. Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Institute of Great Britain and Ireland, v. 15, p. 246-263, 1886.
KAHNEMAN, D. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011.
STIGLER, S. M. Regression towards the mean, historically considered. Statistical Methods in Medical Research, v. 6, n. 2, p. 103-114, 1997.
Leia também: Estatísticas robustas: mediana, IQR e MAD



