O dilema de viés e variância explica um resultado que contraria a intuição: o modelo que melhor reproduz os dados históricos costuma ser o que pior prevê o futuro. Neste tutorial, estimamos dois modelos deliberadamente opostos para o emprego formal brasileiro e medimos o erro de cada um dentro e fora da amostra.
O resultado é direto. Na amostra de treino, a suavização exponencial erra uma fração do que erra o modelo de tendência linear, uma vantagem de mais de uma ordem de grandeza. Nos 12 meses seguintes, que nenhum modelo viu, a ordem se inverte: o modelo que vencia no treino passa a errar mais que o concorrente.
A inversão não é acaso nem defeito de implementação. Ela decorre de um dilema estrutural entre duas fontes de erro, e quem o ignora escolhe modelo pelo desempenho no passado, que é justamente o critério que falha.
Código do exercício
O código com a decomposição do erro entre viés e variância, com os modelos comparados fora da amostra está disponível em:
De onde vem o erro de previsão
Todo modelo erra, e a pergunta relevante é de onde vem esse erro, porque cada fonte exige um remédio diferente. O erro quadrático médio de previsão se decompõe em três parcelas, e cada uma tem leitura concreta.
🎯
📉
🎲
O viés mede o quanto o modelo erra sistematicamente por ser simples demais. Um modelo que só traça retas sobre um fenômeno curvo erra sempre para o mesmo lado em certas regiões, e ampliar a amostra não resolve.
A variância mede o quanto as estimativas mudariam se o modelo fosse reestimado em outra amostra do mesmo fenômeno. Um modelo flexível demais acompanha o ruído da amostra de treino, e por isso se comporta de forma instável fora dela.
O erro irredutível é a aleatoriedade do fenômeno, que nenhum modelo elimina.
Por que reduzir um aumenta o outro
As duas primeiras parcelas se movem em direções opostas conforme a complexidade aumenta. Modelos simples têm alto viés e baixa variância: erram sistematicamente, mas erram de forma parecida em qualquer amostra. Modelos complexos têm baixo viés e alta variância: reproduzem o passado com precisão, ruído incluído, e por isso variam bastante de uma amostra para outra.
Os nomes usuais dos dois extremos são sub-ajuste, quando o viés domina, e sobreajuste, quando a variância domina. Daí decorre a prática de separar os dados: o ajuste dentro da amostra não mede a qualidade preditiva, e a avaliação precisa usar observações que o modelo não viu.
Dois modelos nos extremos
Os dados são o estoque de empregos formais no setor de serviços, apurado pelo CAGED e disponibilizado pelo Banco Central. São observações mensais desde 1992, com tendência clara de longo prazo e oscilações de curto prazo, incluindo a quebra da pandemia. Os últimos 12 meses ficaram de fora da estimação, reservados para o teste.
O MQO com tendência linear ajusta uma única reta a trinta anos de dados. Tem dois parâmetros e nenhuma capacidade de acompanhar oscilações, o que o coloca no extremo do sub-ajuste.
A suavização exponencial atribui pesos decrescentes às observações passadas, com peso maior nas mais recentes. Ela acompanha de perto cada movimento da série, o que a coloca no extremo do sobreajuste.
Por esse gráfico, a escolha pareceria óbvia. O modelo laranja reproduz a série quase perfeitamente; o azul erra por milhões de empregos durante décadas.
O teste nos dados que o modelo não viu
O critério de decisão é outro: o desempenho nos dados reservados. Os dois modelos preveem os 12 meses guardados, e a comparação com o observado inverte o veredito.
A suavização exponencial ajustada projeta um nível quase constante, porque o componente que ela extraiu da série é o valor recente, e não a inclinação. O MQO, apesar de ignorar todas as oscilações históricas, capturou a única informação que se manteve válida no período seguinte: a série continua subindo.
| Amostra | Modelo | RMSE (mil empregos) |
|---|---|---|
| Treino | MQO (sub-ajuste) | 1.039,5 |
| Treino | ETS (sobreajuste) | 72,2 |
| Teste | MQO (sub-ajuste) | 485,4 |
| Teste | ETS (sobreajuste) | 869,7 |
Raiz do erro quadrático médio por modelo e amostra. Fonte: CAGED/ME, via BCB/SGS.
A métrica é a raiz do erro quadrático médio: a raiz da média dos erros ao quadrado. Elevar ao quadrado impede que erros positivos e negativos se cancelem e penaliza mais os erros grandes; a raiz devolve o resultado à unidade original, aqui o número de empregos.
Variando a complexidade de forma gradual
Os dois modelos são pontos nos extremos do trade-off. Para observar o comportamento intermediário, o exercício ajusta polinômios de tendência de grau 1, uma reta, até grau 15, uma curva capaz de contorcer-se bastante, medindo o erro em cada amostra.
O erro de treino cai de forma monótona conforme o modelo ganha flexibilidade, porque um modelo mais flexível sempre reproduz melhor o passado. O erro de teste segue outro caminho: oscila e, a partir do grau 10, dispara, chegando a superar em quinze vezes o erro do modelo mais simples.
A instabilidade dos graus altos tem duas origens. Uma é a variância do dilema, com o modelo perseguindo ruído da amostra de treino. A outra é o comportamento dos polinômios de grau elevado fora do intervalo em que foram estimados, onde crescem ou despencam com rapidez. As duas empurram o erro de previsão na mesma direção.
As ferramentas por trás
O que o exercício revela
- Ajuste histórico não é critério de escolha. A vantagem de catorze vezes do ETS no treino virou desvantagem de quase duas vezes no teste.
- O sobreajuste tem uma assinatura reconhecível. Erro muito baixo no treino e muito alto no teste é o padrão que denuncia o modelo que decorou a amostra.
- Complexidade não é qualidade. O polinômio de grau mais alto reproduz o passado muito melhor que a reta e prevê o futuro pior que ela.
- A separação treino e teste é o instrumento. Sem guardar dados fora da estimação, nenhuma das conclusões acima seria observável.
Veja o exercício rodando em vídeo
A aula abaixo percorre as mesmas etapas deste guia, com o código rodando na tela.
Considerações finais
O exercício mostrou o dilema em números. Dentro da amostra, o modelo flexível acompanha a série quase perfeitamente e o modelo rígido passa longe. Fora da amostra, a ordem se altera, e um critério de escolha baseado no ajuste histórico levaria ao modelo errado.
O raciocínio se aplica a qualquer modelo preditivo, de uma regressão simples a uma rede neural, e dele derivam práticas como validação cruzada, regularização e separação de amostras:
- Cientistas de dados: o dilema é o que justifica validação cruzada e regularização, e reconhecer a assinatura do sobreajuste é rotina de qualquer pipeline preditivo.
- Economistas: modelos macroeconométricos com muitos parâmetros ajustam bem o histórico e falham na previsão, e a avaliação fora da amostra é o que distingue os dois casos.
- Profissionais de mercado financeiro: estratégias calibradas em dados passados sofrem exatamente desse problema, e o backtest que ignora a separação de amostras produz retorno ilusório.
- Pesquisadores e estudantes: a decomposição do erro é a base teórica que conecta estatística clássica e aprendizado de máquina.
Em todas elas a decisão é a mesma: escolher a complexidade pelo erro fora da amostra, não pelo ajuste aos dados já observados.
Você viu o dilema; aprenda a escolher o modelo certo
Da avaliação fora da amostra à modelagem e previsão de séries econômicas, com Python aplicado a dados reais desde a primeira aula. Quem quer acesso a todas as formações tem o AM Black, a assinatura anual.
Leia também:
