Um fundo termina o ano no topo do ranking e, no ano seguinte, fica no meio da tabela. A leitura usual é que o gestor perdeu a mão. Existe uma explicação anterior a essa, e ela vale mesmo quando a habilidade não mudou nada. Neste artigo mostramos o que é a regressão à média e como não confundi-la com o efeito de uma decisão.
O fenômeno aparece sempre que um resultado depende em parte de habilidade e em parte de sorte. Quando isso acontece, o desempenho extremo de um período tende a ser seguido por um desempenho mais próximo da média.
A pergunta deste exercício é direta: as ações que mais subiram num ano continuam subindo mais no ano seguinte?
As barras claras mostram o critério de separação: o quarto quartil reúne as ações de melhor retorno do ano, o primeiro reúne as de pior retorno. As barras escuras mostram o que cada grupo fez no ano seguinte.
O grupo que liderou recua na direção da média geral. O grupo que ficou por último sobe na mesma direção. Os dois terminam numa faixa parecida, apesar de terem partido de extremos opostos.
📩 O modelo continua valendo. O que mudou é a velocidade
Quem já sabe econometria tem a parte difícil resolvida: saber qual pergunta fazer e como checar se a resposta faz sentido. No Boletim AM eu mostro, todo dia, como a IA entra nesse trabalho, sem substituir o julgamento de quem entende o modelo.
Todo dia no seu e-mail. Gratuito, e sai num clique.
O que é a regressão à média
A regressão à média é a tendência de um resultado extremo ser seguido por outro mais próximo do valor típico da série. Ela foi descrita por Francis Galton em 1886, ao observar que filhos de pais muito altos tendiam a ser mais baixos que os pais, e filhos de pais muito baixos tendiam a ser mais altos.
O ponto de partida para entender o mecanismo é separar o resultado observado em duas partes.
Aqui Xt é o resultado observado no período t, μ é o componente permanente, aquilo que se repete de um período para o outro, e εt é o componente transitório, que muda a cada período e tem média zero.
No caso de um ativo, o componente permanente é o retorno que o risco do negócio justifica, e o transitório reúne tudo que foi específico daquele ano: uma safra, uma decisão regulatória, um choque de preço.
Por que a seleção pelo topo produz o recuo
O efeito nasce do critério de seleção. Quando escolhemos as observações de maior Xt, escolhemos as que combinam componente permanente alto e componente transitório alto.
O componente permanente continua no período seguinte. O transitório, por ter média zero e ser sorteado de novo a cada período, não continua. O resultado esperado para o período seguinte fica entre o valor observado e a média geral.
O ρ é a correlação entre períodos consecutivos, e dimensiona o recuo. Quando ρ fica entre 0 e 1, a previsão para o período seguinte é mais próxima da média do que o valor observado estava.
Dois casos extremos ajudam a ler a fórmula. Com ρ igual a 1, o desempenho de um período se repete integralmente no seguinte, e não há recuo. Com ρ igual a 0, o passado não informa nada sobre o futuro, e a melhor previsão para qualquer observação é a média geral. Dados de retorno costumam ficar mais perto do segundo caso.
A relação entre um ano e o seguinte
O gráfico por quartis resume o comportamento dos grupos. A relação inteira aparece quando colocamos cada par de anos no plano.
A tracejada cinza é a reta de 45 graus, que representaria a persistência completa: cada ação repetindo no ano seguinte exatamente o retorno do ano anterior. A linha laranja é a relação que os dados mostram.
A diferença de inclinação entre as duas é a regressão à média. Para uma ação que ficou acima da média num ano, a previsão para o ano seguinte fica entre o que ela fez e a média geral, nunca na repetição do resultado.
A nuvem de pontos é larga em torno da reta, o que indica que a parte previsível do retorno de um ano para o outro é pequena. É o mesmo fenômeno que aparece quando se estuda a correlação entre duas variáveis: uma correlação positiva e fraca descreve uma relação real, mas de baixo poder preditivo.
A melhora que aparece sem nenhuma intervenção
O efeito tem uma consequência que vai muito além de rankings de ações. Quando alguém intervém depois de um resultado ruim, a melhora seguinte aparece sem que a intervenção tenha produzido nada.
Para medir o tamanho dessa melhora automática, o exercício simula um caso em que não existe intervenção nenhuma e a habilidade de cada unidade é constante. Cada uma recebe apenas um choque aleatório em cada período.
O grupo completo fica na mesma posição nos dois períodos, como esperado de um desenho em que nada muda. O grupo selecionado pelos piores resultados parte de muito abaixo e sobe.
A melhora vem apenas da forma como o grupo foi escolhido. A simulação não tem tratamento nem aprendizado, e a habilidade de cada unidade é idêntica nos dois períodos.
Essa é a armadilha de avaliar uma medida aplicada a quem teve o pior resultado. Comparar o grupo antes e depois mistura o efeito da medida com o recuo estatístico, e o segundo existe mesmo quando o primeiro é zero.
O recuo pode ser calculado antes
O tamanho do recuo não é uma surpresa. Ele sai da mesma fórmula do começo: basta a correlação entre os períodos e a distância do grupo até a média.
No exercício, o valor previsto pela fórmula e o valor observado na simulação coincidem até a segunda casa decimal. A fórmula não foi ajustada aos dados, o que torna o recuo uma quantidade que se calcula de antemão em vez de apenas constatar depois.
Quem conhece a correlação entre períodos na sua própria base sabe quanto de melhora esperar sem nenhuma intervenção, e pode usar esse número como referência para julgar o efeito de uma medida.
Quanto mais extremo o recorte, maior o recuo
Quanto mais extremo o recorte, mais distante da média o grupo parte, e maior o recuo no período seguinte. Um recorte na mediana quase não produz recuo, porque o grupo já está perto da média.
Daí vem a razão de a regressão à média deslocar mais a média justamente nos casos que mais chamam atenção. O melhor fundo do ano, a escola com a pior nota, o mês de pior resultado: são os recortes mais extremos, e por isso os de maior recuo automático.
Os limites do que o exercício mostra
O último ponto merece atenção de quem for reproduzir o exercício com outra carteira. A amostra usa empresas que estão listadas hoje, o que deixa de fora as que desapareceram no meio do caminho. Esse é o viés de sobrevivência, e ele tende a melhorar artificialmente o retorno de qualquer estratégia testada assim.
Há ainda uma condição para o fenômeno existir. Se o resultado de cada período fosse determinado apenas pela parte permanente, a correlação entre períodos seria 1 e não haveria recuo nenhum. É a presença de aleatoriedade que produz o efeito.
O roteiro para não confundir recuo com efeito
| Passo | O que verificar |
|---|---|
| 1 | O grupo foi selecionado por um resultado extremo? Se sim, espere recuo mesmo sem intervenção. |
| 2 | Qual a correlação entre períodos consecutivos na sua base? Ela dimensiona o recuo. |
| 3 | Calcule o recuo esperado pela fórmula antes de medir o efeito da intervenção. |
| 4 | Compare o grupo tratado com um grupo de controle selecionado pelo mesmo critério, não com ele mesmo no passado. |
| 5 | Quanto mais extremo o recorte, maior o recuo a descontar. |
O quarto passo resolve o problema na prática. Comparar o grupo consigo mesmo no período anterior mistura o efeito da medida com o recuo. Comparar com um grupo selecionado pelo mesmo critério, mas que não recebeu a medida, deixa os dois sujeitos ao mesmo recuo, e a diferença entre eles isola o efeito.
Considerações finais
A regressão à média é um dos poucos conceitos estatísticos que mudam decisões antes mesmo de qualquer estimação. Reconhecê-la evita atribuir a uma escolha o que veio do critério de seleção.
Aprender a identificá-la em Python tem um retorno prático imediato, porque tanto o diagnóstico quanto a simulação que separa recuo de efeito cabem em poucas linhas com pandas, scipy e numpy.
- Analista de dados: reconhece o recuo antes de reportar um teste A/B iniciado depois de uma queda, quando parte da recuperação viria de qualquer jeito.
- Economista: avalia política pública aplicada aos municípios de pior indicador sabendo quanto da melhora é automática.
- Gestor de risco: desconfia de mudanças de processo adotadas logo após o pior mês da série, e mede o efeito contra um grupo de controle.
- Trader: lê ranking de fundos e de ativos sabendo que a liderança de um período informa pouco sobre o período seguinte.
- Atuária: trata o sinistro atípico de um ano como componente transitório, e não como novo patamar de risco.
O conceito aparece em toda decisão tomada logo depois de um extremo, que é justamente quando a pressão por decidir é maior.
Você viu o recuo; aprenda a medir o efeito
De estatística descritiva a inferência e regressão, com Python aplicado a dados econômicos reais desde a primeira aula. Quem quer acesso a todas as formações tem o AM Black, a assinatura anual.
Referências
BARNETT, A. G.; VAN DER POLS, J. C.; DOBSON, A. J. Regression to the mean: what it is and how to deal with it. International Journal of Epidemiology, v. 34, n. 1, p. 215-220, 2005.
CAMPBELL, D. T.; KENNY, D. A. A Primer on Regression Artifacts. New York: Guilford Press, 1999.
GALTON, F. Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Institute of Great Britain and Ireland, v. 15, p. 246-263, 1886.
KAHNEMAN, D. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011.
STIGLER, S. M. Regression towards the mean, historically considered. Statistical Methods in Medical Research, v. 6, n. 2, p. 103-114, 1997.
Leia também: Estatísticas robustas: mediana, IQR e MAD
