Ajustamos dois modelos ao estoque de emprego formal em serviços. Nos dados usados para estimá-los, um deles erra em média 72 mil empregos e o outro, 1,04 milhão: o primeiro é catorze vezes mais preciso.
Ao prever os 12 meses seguintes, a ordem se inverte. O modelo mais preciso no histórico passa a errar 870 mil empregos, contra 485 mil do outro.
O mesmo modelo, portanto, foi o melhor e o pior, dependendo de onde medimos o erro. Por que isso acontece?
Porque o erro de previsão tem componentes distintos, e eles reagem de maneira oposta quando tornamos um modelo mais flexível: um deles diminui, o outro aumenta.
Essa oposição é o dilema de viés e variância, e ela determina até que ponto vale a pena ajustar um modelo aos dados que já temos.
As barras da esquerda mostram o erro nos dados usados para estimar os modelos; as da direita, o erro ao prever meses que nenhum deles tinha visto. A barra mais baixa à esquerda é a mais alta à direita.
Para entender por que os dois lados discordam, precisamos separar o erro de previsão nas partes que o compõem.
💡 Quer obter o código completo deste exercício?
O notebook pronto para rodar (a decomposição do erro entre viés e variância e a comparação dos modelos fora da amostra) tem acesso imediato na página abaixo.
O problema que todo modelo preditivo tenta resolver
Para entender de onde vem o erro, começamos pela pergunta que todo modelo preditivo tenta responder. É o ponto de partida do statistical learning, o campo que estuda como aprender regularidades a partir de dados para prever observações novas.
Partimos de uma ideia simples: existe alguma relação entre o que queremos prever e a informação que temos, e essa relação vem acompanhada de uma parte imprevisível.
Nessa expressão, Y é o que queremos prever. No nosso exemplo, o estoque de empregos formais em serviços.
O X é a informação que usamos para prever. Aqui é o tempo decorrido, mas poderia ser juros, câmbio, ou qualquer conjunto de variáveis.
A função f é a relação verdadeira entre os dois. Ela representa como o emprego responde ao tempo, descontada qualquer aleatoriedade.
E o ε é a parte que nenhuma informação disponível explica: greves, mudanças de metodologia, erros de apuração, um choque que ninguém previu.
Mas se f é a relação verdadeira, por que precisamos de um modelo?
Porque f não é observada. Ela descreve o processo que gera os dados, e o que conseguimos observar são apenas os resultados desse processo, tema que tratamos em O alicerce da ciência de dados: entendendo o processo gerador dos dados.
O que um modelo entrega é um palpite sobre f, que chamamos de f̂. Estimar um modelo é escolher, dentro de um conjunto de funções candidatas, aquela que melhor descreve os dados que temos.
Essa escolha do conjunto já decide quanta flexibilidade o modelo terá. Se escolhemos trabalhar com retas, temos dois parâmetros e nenhuma curvatura possível. Se escolhemos polinômios de grau 15, o modelo pode assumir formas bem mais variadas.
Por que o erro se separa em três partes
Estimamos f̂ com os dados que temos e usamos o modelo para prever uma observação nova. Quanto erramos, em média?
A resposta tem uma forma conhecida. O erro quadrático esperado de uma previsão se separa em exatamente três parcelas:
Essa igualdade é exata e vale para qualquer modelo, de uma regressão simples a uma rede neural. É por isso que o dilema atravessa toda a estatística preditiva: ele vem da própria definição de erro esperado, e não de alguma peculiaridade de um método.
O E do lado esquerdo indica uma média, mas média sobre o quê?
Sobre as amostras que poderíamos ter tido. Se refizéssemos a coleta muitas vezes e reestimássemos o modelo em cada uma delas, teríamos muitas previsões diferentes para o mesmo ponto, e a expressão descreve o erro médio dessas previsões.
Das três parcelas, duas dependem do modelo que escolhemos: o viés e a variância. A terceira, σ2, é a variância de ε e não muda com escolha nenhuma.
De onde vem o erro de previsão
Cada parcela da decomposição tem leitura concreta, e cada uma exige um remédio diferente.
Viés: o erro que se repete sempre na mesma direção
O viés é a distância entre a previsão média do modelo e o valor verdadeiro:
Uma balança desregulada que marca sempre 2 kg a mais ilustra bem a ideia. Ela é consistente, repetindo o mesmo número a cada pesagem, e ainda assim está errada sempre na mesma direção. Esse afastamento constante é o viés.
Num modelo, ele aparece quando o conjunto de funções escolhido é rígido demais para a relação verdadeira. Se tentamos descrever com uma reta um fenômeno que faz curva, o modelo erra para baixo em certos trechos e para cima em outros, sempre do mesmo jeito.
E se coletarmos mais dados, o viés diminui?
Não. Se nenhuma reta descreve bem a relação verdadeira, ampliar a amostra só nos dá mais certeza sobre qual é a melhor reta, e a melhor reta continua sendo insuficiente. Viés alto é problema de escolha do modelo, não de quantidade de dados.
Variância: o erro que muda a cada amostra
A variância mede o quanto a previsão oscilaria se tivéssemos estimado o modelo com outra amostra do mesmo fenômeno:
É a variância estatística de sempre, aplicada às previsões: o quanto cada previsão se afasta da previsão média.
Voltando à comparação anterior, agora temos uma balança sem viés, que acerta na média, mas que a cada pesagem marca um valor diferente. Ela não erra para um lado só; ela erra de forma imprevisível.
De onde vem essa instabilidade num modelo? Da flexibilidade excessiva. Um modelo com muitos parâmetros consegue acompanhar cada detalhe da amostra que recebeu, inclusive o que ali é puro acaso.
Como esse acaso muda de amostra para amostra, o modelo estimado muda junto. Trocando os dados, sai uma curva bem diferente, e as previsões mudam com ela.
Aqui, ao contrário do viés, mais dados ajudam. Quanto maior a amostra, menos cada observação individual consegue puxar a curva para si, e mais estáveis ficam as estimativas.
Erro irredutível: o que sobra
A terceira parcela, σ2, é a variância daquele ε da primeira equação. Ela existe porque o fenômeno tem componentes que nenhuma informação disponível capta.
No caso do emprego, entram aí desde um choque econômico inesperado até imprecisões na apuração dos dados.
Essa parcela não depende do modelo, e nenhuma escolha a elimina. Mesmo que acertássemos f exatamente, ainda erraríamos, porque a aleatoriedade continua lá.
É por isso que ela funciona como um piso: abaixo dela não dá para chegar em previsão. E quando o erro na amostra de estimação fica bem abaixo desse piso, o sinal é ruim, porque significa que o modelo ajustou também o ruído daqueles dados específicos.
Por que reduzir um aumenta o outro
Já temos as duas parcelas que dependem de nós. Agora, o que acontece com cada uma quando tornamos o modelo mais flexível?
Um modelo simples tem viés alto e variância baixa. Ele erra sistematicamente, porque não alcança a forma verdadeira da relação, mas erra de maneira parecida em qualquer amostra que receba.
Um modelo complexo tem o oposto: viés baixo e variância alta. Ele consegue chegar perto da relação verdadeira, mas acompanha também o ruído, e por isso muda bastante quando trocamos os dados.
Aí está o dilema. Reduzir uma parcela significa aumentar a outra, e as duas entram somadas no erro de previsão.
A soma das duas parcelas tem um ponto de mínimo. Enquanto a queda do viés for maior que o aumento da variância, tornar o modelo mais flexível reduz o erro de previsão.
Passado esse ponto, a relação se inverte: cada dose extra de flexibilidade acrescenta mais variância do que retira de viés, e o erro volta a subir.
Os dois extremos têm nome. Quando o viés domina, dizemos que o modelo está em sub-ajuste; quando a variância domina, em sobreajuste.
Onde medir o erro, então?
A decomposição resolve uma questão prática: por que não podemos escolher o modelo pelo ajuste aos dados que usamos para estimá-lo.
O erro medido nesses dados mostra o quanto o modelo reproduz aquela amostra em particular, ruído incluído. Um modelo flexível o bastante leva esse erro a quase zero sem ter aprendido nada que se sustente fora dali.
O erro que interessa é outro: o de prever observações que o modelo não viu. E para medi-lo, precisamos guardar parte dos dados fora da estimação, procedimento detalhado em Como construir amostras de treino e teste para rodar modelos?.
É exatamente isso que o exercício a seguir faz.
O exercício: dois modelos nos extremos
Com a teoria posta, podemos ver o dilema acontecer em dados reais. A ideia do exercício é estimar dois modelos deliberadamente opostos, um em cada extremo da complexidade, e comparar o erro dentro e fora da amostra.
Os dados são o estoque de empregos formais no setor de serviços, apurado pelo CAGED e disponibilizado pelo Banco Central. São observações mensais desde 1992, com tendência clara de longo prazo e oscilações de curto prazo, incluindo a quebra da pandemia.
Os últimos 12 meses ficaram de fora da estimação, reservados para o teste.
O MQO com tendência linear ajusta uma única reta a trinta anos de dados. Tem dois parâmetros e nenhuma capacidade de acompanhar oscilações, o que o coloca no extremo do sub-ajuste. O método está detalhado em Regressão Linear: teoria e prática.
A suavização exponencial atribui pesos decrescentes às observações passadas, com peso maior nas mais recentes. Ela acompanha de perto cada movimento da série, o que a coloca no extremo do sobreajuste.
Por esse gráfico, a escolha pareceria óbvia. O modelo laranja reproduz a série quase perfeitamente; o azul erra por milhões de empregos durante décadas.
O teste nos dados que o modelo não viu
O critério de decisão é outro: o desempenho nos dados reservados. Os dois modelos preveem os 12 meses guardados, e a comparação com o observado inverte o veredito.
A suavização exponencial ajustada projeta um nível quase constante, porque o componente que ela extraiu da série é o valor recente, e não a inclinação. O MQO, apesar de ignorar todas as oscilações históricas, capturou a única informação que se manteve válida no período seguinte: a série continua subindo.
| Amostra | Modelo | RMSE (mil empregos) |
|---|---|---|
| Treino | MQO (sub-ajuste) | 1.039,5 |
| Treino | ETS (sobreajuste) | 72,2 |
| Teste | MQO (sub-ajuste) | 485,4 |
| Teste | ETS (sobreajuste) | 869,7 |
Raiz do erro quadrático médio por modelo e amostra. Fonte: CAGED/ME, via BCB/SGS.
A métrica é a raiz do erro quadrático médio, que resume em um número a distância típica entre previsto e observado:
Elevar ao quadrado impede que erros positivos e negativos se cancelem e penaliza mais os erros grandes. A raiz devolve o resultado à unidade original, aqui o número de empregos.
A ligação com a teoria é direta: o RMSE calculado no teste é uma estimativa amostral da raiz daquele erro esperado que decompusemos em viés, variância e ruído.
Variando a complexidade de forma gradual
Os dois modelos são pontos nos extremos do dilema. Para observar o comportamento intermediário, o exercício ajusta polinômios de tendência de grau 1, uma reta, até grau 15, uma curva capaz de contorcer-se bastante, medindo o erro em cada amostra.
O grau do polinômio funciona como medida de complexidade: cada grau adicional acrescenta um parâmetro e amplia a família de formas que o modelo pode assumir.
O erro de treino cai de forma monótona conforme o modelo ganha flexibilidade, de 1.039 mil empregos no grau 1 para 105 mil no grau 15, porque um modelo mais flexível sempre reproduz melhor o passado.
O erro de teste segue outro caminho. Ele oscila nos graus intermediários e, a partir do grau 10, dispara: no grau 13 chega a 7.618 mil empregos, quinze vezes o erro da reta simples.
As duas curvas juntas são a imagem do dilema. Se o critério fosse o treino, escolheríamos o grau 15; pelo teste, a reta do grau 1 supera quase todos os concorrentes mais elaborados.
A instabilidade dos graus altos tem duas origens. Uma é a variância da decomposição, com o modelo perseguindo ruído da amostra de treino. A outra é o comportamento dos polinômios de grau elevado fora do intervalo em que foram estimados, onde crescem ou despencam com rapidez. As duas empurram o erro de previsão na mesma direção.
O que se faz com isso na prática
A decomposição orienta as três decisões mais comuns de quem constrói modelos preditivos: quanta complexidade usar, quando trocar uma parcela de erro pela outra e o que fazer quando a previsão falha.
Escolher a complexidade
A curva de erro de teste dá o critério: escolhe-se o nível de complexidade que a minimiza. Quando há poucos dados reservados para o teste, a validação cruzada reaproveita a amostra em várias partições, estimando o erro fora da amostra sem depender de uma única separação.
Aceitar viés para reduzir variância
Técnicas de regularização, como ridge e lasso, encolhem os coeficientes estimados em direção a zero. Isso introduz viés de propósito, e a troca compensa quando a redução de variância é maior que o viés acrescentado.
A troca se justifica pela própria decomposição: como viés e variância se somam no erro total, aumentar o primeiro compensa sempre que a queda do segundo for maior.
Diagnosticar um modelo que falhou
A comparação entre erro de treino e de teste identifica qual parcela domina. Erro alto nos dois indica viés, e o remédio é mais flexibilidade ou melhores preditores.
Erro baixo no treino e alto no teste indica variância, e o remédio é o oposto: simplificar o modelo, regularizar ou coletar mais dados.
As ferramentas por trás
O que o exercício revela
- Ajuste histórico não é critério de escolha. A vantagem de catorze vezes do ETS no treino virou desvantagem de quase duas vezes no teste.
- O sobreajuste tem uma assinatura reconhecível. Erro muito baixo no treino e muito alto no teste é o padrão que denuncia o modelo que decorou a amostra.
- Complexidade não é qualidade. O polinômio de grau 13 reproduz o passado muito melhor que a reta e erra quinze vezes mais ao prever.
- A separação treino e teste é o instrumento. Sem guardar dados fora da estimação, nenhuma das conclusões acima seria observável.
Veja o exercício rodando em vídeo
A aula abaixo percorre as mesmas etapas deste guia, com o código rodando na tela.
Considerações finais
O exercício mostrou o dilema em números. Dentro da amostra, o modelo flexível acompanha a série quase perfeitamente e o modelo rígido passa longe. Fora da amostra, a ordem se altera, e um critério de escolha baseado no ajuste histórico levaria ao modelo errado.
A decomposição do erro em viés, variância e parcela irredutível explica por que isso acontece em qualquer modelo preditivo, de uma regressão simples a uma rede neural. Dela derivam práticas como validação cruzada, regularização e separação de amostras.
- Cientistas de dados: o dilema é o que justifica validação cruzada e regularização, e reconhecer a assinatura do sobreajuste é rotina de qualquer pipeline preditivo.
- Economistas: modelos macroeconométricos com muitos parâmetros ajustam bem o histórico e falham na previsão, e a avaliação fora da amostra é o que distingue os dois casos.
- Profissionais de mercado financeiro: estratégias calibradas em dados passados sofrem exatamente desse problema, e o backtest que ignora a separação de amostras produz retorno ilusório.
- Pesquisadores e estudantes: a decomposição do erro é a base teórica que conecta estatística clássica e aprendizado de máquina.
A decisão não muda de uma área para outra: escolhemos a complexidade do modelo pelo erro fora da amostra, e não pelo ajuste aos dados já observados.
Aprenda a escolher o modelo certo
Da avaliação fora da amostra à modelagem e previsão de séries econômicas, com Python aplicado a dados reais desde a primeira aula. Quem quer acesso a todas as formações tem o AM Black, a assinatura anual.
Leia também:
