Distribuições de probabilidade em dados: como identificar a sua

Ao trabalhar com dados, uma escolha aparece antes de qualquer modelo: a de qual distribuição de probabilidade descreve a sua variável. Na maior parte das vezes essa escolha é feita por hábito, adotando a distribuição normal sem verificar se ela cabe. Neste artigo apresentamos as distribuições que mais aparecem em dados reais e mostramos como identificar a distribuição dos seus próprios dados.

Vamos começar pelo problema. Quando coletamos dados de determinada variável, precisamos avaliar qual distribuição melhor descreve seu comportamento. Se assumirmos uma distribuição previamente, sem verificar se ela é compatível com os dados, e utilizarmos um modelo que depende dessa hipótese, podemos obter resultados distorcidos sem que o modelo apresente qualquer erro aparente.

A distorção tende a se concentrar nos valores extremos — justamente aqueles que determinam o limite de perda de uma carteira de investimentos, o capital que um banco precisa reservar ou a probabilidade atribuída a um cenário adverso.

O gráfico abaixo evidencia esse desencontro a partir dos retornos diários do Ibovespa. A curva azul-escura representa uma distribuição normal calibrada com a média e o desvio-padrão da própria série. Mesmo utilizando os dois parâmetros que definem completamente uma normal, o histograma — que representa a distribuição observada nos dados — se afasta claramente do formato teórico.

O que é uma distribuição de probabilidade

Uma distribuição de probabilidade é uma forma de representar matematicamente o comportamento de uma variável aleatória. Ela descreve duas dimensões fundamentais: quais valores a variável pode assumir e como a probabilidade se distribui entre esses valores, indicando onde os resultados tendem a se concentrar e com que frequência esperamos observar valores mais ou menos extremos.

É essa descrição que permite sair do que já aconteceu e passar para o que pode acontecer. Com uma distribuição em mãos, podemos responder perguntas como:

• qual a probabilidade de a inflação superar determinado patamar no ano;
• com que frequência um índice de ações cai além de certo percentual em um único pregão;
• quantos meses por ano uma operação tende a passar sem nenhuma ocorrência.

Uma série histórica, por si só, registra apenas os valores que foram observados. Ela mostra o que aconteceu no passado, mas não atribui diretamente probabilidades aos resultados que ainda não observamos. A distribuição faz essa ponte: a partir do comportamento dos dados, construímos uma representação probabilística da incerteza e podemos quantificar a chance de diferentes resultados futuros.

Por isso, escolher uma distribuição significa definir uma estrutura probabilística para representar o comportamento da variável. Quando essa estrutura se distancia dos dados observados, as probabilidades calculadas pelo modelo também podem estar erradas — especialmente nos eventos extremos, justamente aqueles que costumam ser mais importantes para decisões econômicas e financeiras.

O caso simples: distribuição normal

A distribuição normal é uma distribuição de probabilidade contínua, simétrica e concentrada em torno de sua média. Seu formato é determinado por apenas dois parâmetros: a média, que define o centro da distribuição, e o desvio-padrão, que determina sua dispersão.

Ela se tornou uma das principais referências da estatística por dois motivos principais:

• Simplicidade de descrição. Média e desvio-padrão são suficientes para determinar completamente uma distribuição normal. São duas medidas simples de calcular, interpretar e comunicar.
• Teorema Central do Limite. Sob determinadas condições, a distribuição das médias de amostras suficientemente grandes se aproxima de uma distribuição normal, mesmo quando a variável de origem não segue uma normal.

O problema é que esse segundo argumento costuma ser aplicado além do que o teorema permite. O Teorema Central do Limite descreve o comportamento de uma estatística, como a média amostral, à medida que o tamanho da amostra cresce. Ele não afirma que a variável original passa a seguir uma distribuição normal.

A diferença prática entre esses dois usos é importante. Utilizar a aproximação normal para fazer inferência sobre a média de uma amostra pode ter respaldo no Teorema Central do Limite. Já assumir que os retornos diários de um ativo seguem uma distribuição normal exige uma justificativa diferente. É justamente essa segunda suposição, quando feita sem verificação, que pode produzir erros relevantes na mensuração de risco.

Primeiro caso: retornos financeiros e a cauda pesada

Voltemos ao gráfico do início. Para construí-lo, calculamos a média e o desvio-padrão dos retornos diários do Ibovespa, desenhamos a curva normal que esses dois números especificam e a sobrepusemos ao histograma dos dados observados. Se a normal descrevesse bem a série, as duas formas coincidiriam.

Elas não coincidem, e o desencontro segue um padrão em três partes:

• No centro, o histograma sobe acima da curva. Há mais pregões de oscilação pequena do que a normal previa.
• Nas duas pontas, o histograma volta a ficar acima da curva. Há também mais pregões de oscilação muito grande.
• Entre o centro e as pontas, o histograma fica abaixo. É dessa região que vieram as observações acumuladas nas outras duas.

A literatura chama esse formato de cauda pesada: distribuições em que valores extremos aparecem com frequência bem maior do que a normal lhes atribui.

Como medir a cauda pesada

Uma das medidas usadas para resumir esse comportamento é a curtose, que captura o grau de concentração e o peso das caudas de uma distribuição em relação ao seu centro.

A referência é a própria distribuição normal, cuja curtose em excesso é igual a zero por definição. Valores positivos indicam uma distribuição com caudas mais pesadas do que as de uma normal. Nos retornos do Ibovespa, essa medida fica bastante acima dessa referência.

Mas o que isso significa na prática? Uma forma mais intuitiva de responder é escolher um limiar de oscilação relevante para a gestão de risco de ativos financeiros — por exemplo, uma variação diária superior a cinco por cento de uma ação ou do Ibovespa — e comparar duas quantidades: quantos pregões desse tipo a distribuição normal prevê e quantos efetivamente ocorreram.

Veja bem a diferença. O valor observado fica muito acima do projetado. E são justamente esses pregões extremos que determinam a maior perda que uma carteira de investimentos, como uma carteira referenciada no Ibovespa, pode enfrentar.

Um profissional de finanças que utilize um modelo de gestão de risco baseado na hipótese de normalidade, portanto, tende a subestimar a frequência e a magnitude dos dias adversos. Isso ajuda a explicar por que esse tipo de modelo falha repetidamente durante crises, justamente nos períodos em que sua capacidade de mensuração seria mais necessária.

Como testar uma distribuição candidata: o QQ-plot

Comparar o histograma com a distribuição teórica é útil para um diagnóstico inicial, mas há uma limitação importante: nas extremidades, há poucas observações, o que torna o histograma menos informativo. E é justamente nessa região, onde estão os pregões de oscilação mais extrema, que se concentra uma parte crucial da avaliação de um modelo de risco em períodos de crise.

O instrumento adequado para essa comparação é o QQ-plot, ou gráfico quantil-quantil. Vamos construí-lo por partes.

Começamos pelos quantis. O quantil de 10% é o valor abaixo do qual estão 10% das observações; o de 50% é a mediana, que divide a amostra ao meio; e assim por diante ao longo de toda a distribuição. Uma distribuição teórica também possui seus próprios quantis, obtidos a partir da função que a define.

A ideia do gráfico é colocar essas duas referências lado a lado. Se os dados seguissem exatamente a distribuição candidata, o quantil observado de 10% corresponderia ao quantil teórico de 10%, o de 50% corresponderia ao de 50%, e o mesmo aconteceria em todos os demais pontos da distribuição.

No plano cartesiano, cada ponto representa essa correspondência entre um quantil observado e seu equivalente teórico. Quando o ajuste é perfeito, os pontos formam uma reta de 45 graus.

A utilidade do QQ-plot está justamente nos desvios dessa reta. A posição em que os pontos se afastam permite identificar em qual região da distribuição a candidata se distancia dos dados observados — no centro, nas caudas ou em ambas.

No gráfico da esquerda, testamos a normal. Os pontos formam um S deitado: ficam abaixo da reta na cauda esquerda e acima dela na direita. A leitura é direta: os valores extremos observados são mais extremos do que aqueles previstos pela normal, nos dois lados. Esse padrão em S é a assinatura gráfica de caudas mais pesadas.

No gráfico da direita, testamos a t de Student, uma parente próxima da normal. Ela mantém o formato de sino e a simetria, mas possui um parâmetro adicional, os graus de liberdade, que controla o peso das caudas: quanto menor o número de graus de liberdade, mais massa a distribuição atribui aos valores extremos.

Ajustada à série do Ibovespa, a t de Student seleciona um número baixo de graus de liberdade, e os pontos passam a acompanhar a reta por uma faixa muito maior da distribuição, inclusive nas extremidades.

O procedimento pode ser aplicado a qualquer variável: selecionamos algumas distribuições candidatas de acordo com as características dos dados e usamos o QQ-plot para avaliar qual delas apresenta o melhor ajuste ao longo da distribuição.

E o teste formal?

Existem testes que respondem à mesma pergunta com um número, como o de Jarque-Bera, que devolve um p-valor para a hipótese de normalidade. Eles complementam o diagnóstico, com um cuidado de leitura: em amostras grandes esses testes rejeitam a normalidade quase sempre, inclusive diante de desvios pequenos demais para alterar o limite de perda estimado ou o tamanho de uma posição.

Por isso o QQ-plot continua sendo mais informativo. Ele mostra onde o ajuste falhou e com que intensidade, e não apenas que falhou.

Segundo caso: renda e a distribuição log-normal

Nem toda variável econômica se afasta da normalidade pelo mesmo motivo. O retorno de um ativo pode ser aproximadamente simétrico e ainda apresentar caudas mais pesadas do que as de uma normal. Já a renda apresenta um problema diferente: sua distribuição é fortemente assimétrica à direita.

O rendimento das famílias reúne três características importantes ao mesmo tempo:

• concentra grande parte das observações em valores mais baixos;
• distribui uma parcela menor das observações por uma faixa muito extensa de valores elevados;
• não assume valores negativos.

Uma distribuição simétrica não consegue reproduzir adequadamente esse formato. Uma família particularmente útil para dados com essas características é a log-normal. A definição é literal: uma variável é log-normal quando o seu logaritmo segue uma distribuição normal.

Para observar esse formato em um dado brasileiro, usamos o rendimento domiciliar per capita da PNAD Contínua, organizado em décimos da população: do décimo de menor renda ao décimo de maior renda, com cada faixa reunindo 10% dos domicílios.

As barras crescem lentamente ao longo de quase toda a distribuição e disparam na última faixa. A diferença entre o primeiro e o segundo décimo é pequena; entre o nono e o décimo, assume outra ordem de grandeza. Essa concentração dos valores mais elevados no extremo superior é uma característica marcante da distribuição log-normal.

Repare agora na linha da média, que cruza o gráfico acima das barras correspondentes à maior parte dos décimos. Em uma distribuição assimétrica, os valores elevados da cauda exercem uma influência desproporcional sobre a média, deslocando-a para uma região onde se concentra uma parcela pequena dos domicílios.

Daí surge um primeiro uso prático do diagnóstico: em distribuições assimétricas, a mediana costuma representar melhor o caso típico do que a média. Por isso, a análise da renda costuma apresentar as duas medidas: a média informa o nível agregado, enquanto a mediana mostra a posição do domicílio situado no centro da distribuição.

Por que regressões com renda usam o logaritmo

O segundo uso prático aparece quando aplicamos a transformação que dá nome à família.

Na escala do logaritmo, o salto final que dominava o gráfico anterior encolhe, e as barras passam a crescer de forma aproximadamente regular de um décimo para o outro. A distância entre faixas vizinhas fica estável ao longo de toda a distribuição.

É essa propriedade que sustenta a prática de usar o logaritmo da renda em regressões. A transformação leva a variável para a escala em que ela se comporta de forma simétrica — e onde o coeficiente estimado passa a ser lido como variação percentual, em vez de variação em reais que valeria igual para quem ganha pouco e para quem ganha muito.

Terceiro caso: contagens e a distribuição de Poisson

Os dois casos anteriores tratam de grandezas contínuas, que podem assumir qualquer valor dentro de um intervalo. Há, porém, muitos problemas aplicados em que a variável tem outra natureza: ela representa o número de ocorrências registradas em determinado período.

Pense, por exemplo, em uma fábrica que registra quantas falhas de equipamento acontecem durante cada turno. Em um determinado turno podem ocorrer zero falhas, em outro uma, duas ou três, e ocasionalmente um número maior. O mesmo raciocínio aparece no número de atendimentos recebidos por uma central durante cada hora, na quantidade de acidentes registrados em uma rodovia por dia ou no número de dias em cada mês em que o mercado registra uma queda superior a determinado limite.

Em todos esses casos, o objeto de interesse é uma contagem: quantas vezes determinado evento ocorreu dentro de uma unidade de tempo ou de uma janela de observação. A variável possui características próprias:

• assume apenas valores inteiros;
• não pode ser negativa;
• costuma concentrar boa parte das observações em valores pequenos, frequentemente incluindo o zero entre os resultados mais comuns.

A distribuição construída para representar esse tipo de variável é a Poisson. Uma de suas propriedades centrais é a igualdade entre média e variância: o mesmo parâmetro que determina o número esperado de ocorrências também determina a dispersão da distribuição.

De onde vem essa igualdade

Entender a origem dessa propriedade permite transformá-la em um teste. A distribuição de Poisson descreve eventos que ocorrem de forma independente, a uma taxa média constante.

Nessas condições, a própria taxa de ocorrência determina o grau de dispersão dos resultados em torno da média. Assim, média e variância não são parâmetros independentes: elas necessariamente coincidem.

O teste, portanto, é aritmético: calculamos a média e a variância da contagem e comparamos.

• Se ficarem próximas, a Poisson é uma candidata razoável.
• Se a variância for bem maior que a média, o dado está mais espalhado do que uma Poisson consegue gerar. Esse excesso se chama superdispersão, e indica que a condição de independência provavelmente não vale.

Aplicamos o teste contando, mês a mês, quantos dias o Ibovespa registrou uma queda superior a determinado limiar. A variância fica muito acima da média, evidenciando um quadro de superdispersão. Em seguida, comparamos os dados observados com a distribuição de Poisson ajustada para identificar exatamente onde e quanto o modelo se distancia dos dados.

O desencontro aparece nos dois extremos da distribuição. A série observada registra mais meses sem nenhum dia de queda forte do que a Poisson prevê e, ao mesmo tempo, apresenta meses com uma quantidade de dias de estresse que a Poisson considera extremamente improvável.

A explicação econômica está na hipótese de independência. Dias de estresse não se distribuem aleatoriamente ao longo do calendário: eles tendem a se agrupar. Períodos de calmaria produzem sequências de meses sem ocorrências, enquanto, quando a turbulência surge, os eventos extremos podem se concentrar em vários pregões consecutivos.

É a mesma cauda pesada observada no primeiro caso, mas agora identificada a partir da contagem de eventos. Quando há superdispersão, uma alternativa usual à Poisson é a binomial negativa, que introduz um parâmetro adicional capaz de acomodar a variância excedente.

O catálogo das principais distribuições

Os três casos anteriores cobrem alguns dos formatos mais recorrentes em dados econômicos, mas o conjunto de distribuições disponíveis é muito mais amplo. O ponto de partida para organizá-las é a natureza da variável: ela assume valores discretos, como contagens, ou pode assumir qualquer valor dentro de um intervalo contínuo?

Distribuições discretas: a variável conta ocorrências

Os gráficos revelam a lógica por trás de cada família:

• A Bernoulli apresenta apenas duas barras, pois descreve um experimento com dois resultados possíveis.
• A binomial reúne vários experimentos desse tipo e gera uma distribuição que tende a assumir um formato aproximadamente simétrico.
• A Poisson também concentra a maior parte da massa em poucos valores, mas apresenta uma cauda mais longa à direita, pois não existe um número máximo fixo de ocorrências.
• A geométrica começa com a maior probabilidade e decresce a cada tentativa: quanto mais tentativas são necessárias até o primeiro sucesso, menor a probabilidade.
• A binomial negativa se parece com uma Poisson mais dispersa, justamente porque permite acomodar uma variabilidade maior nas contagens.

Distribuições contínuas: a variável mede grandezas

As distribuições se organizam em três grupos principais:

• Simétricas — normal e t de Student. Compartilham o formato de sino e se distinguem principalmente pelo peso das caudas: a t de Student apresenta caudas mais pesadas.
• Assimétricas à direita — log-normal, gama, qui-quadrado, F e exponencial. Concentram a maior parte da probabilidade em valores menores e apresentam uma cauda longa à direita. São adequadas para variáveis que não podem assumir valores negativos, como renda, tempo de espera e valores de sinistros. A exponencial é um caso particular em que a densidade atinge seu máximo na origem e decresce continuamente.
• Limitadas — assumem valores dentro de um intervalo fechado. A uniforme tem formato retangular, pois todos os valores do intervalo possuem a mesma densidade. A beta é uma distribuição contínua definida entre 0 e 1, usada para representar variáveis que assumem valores nesse intervalo, como proporções, probabilidades e taxas. Seus dois parâmetros permitem controlar diferentes formatos, podendo concentrar a massa perto de 0, de 1, no centro ou assumir uma forma assimétrica.

A Pareto fecha o conjunto como um caso clássico de cauda pesada: a densidade é maior nos valores mais baixos e decai lentamente, mantendo uma cauda longa que se estende por valores muito elevados. É uma distribuição associada à concentração, na qual poucas observações podem responder por uma parcela expressiva do total.

Como as famílias se relacionam

Essas distribuições não formam uma lista solta. Várias derivam umas das outras, e conhecer essas relações reduz bastante o que precisa ser memorizado.

• A binomial é a soma de várias Bernoulli independentes: um evento de dois resultados, repetido n vezes.
• A Poisson é o limite da binomial quando as tentativas são muitas e a chance de cada uma é pequena — por isso descreve eventos raros contados num intervalo.
• A binomial negativa é uma Poisson cuja taxa, em vez de fixa, varia de período para período. Daí a variância excedente.
• A log-normal é o que se obtém exponenciando uma normal, e a t de Student é uma normal cuja variância é ela própria incerta — essa incerteza extra é o que engorda as caudas.

O padrão se repete: quase toda cauda pesada nasce de um parâmetro que se supunha fixo e não é. Reconhecer isso vale mais do que decorar fórmulas, porque aponta onde procurar quando o ajuste falha.

Para dados econômicos e financeiros, algumas famílias aparecem com particular frequência:

• Log-normal para grandezas estritamente positivas e assimétricas, como renda, preços e faturamento;
• t de Student para retornos financeiros, especialmente quando há caudas mais pesadas do que na normal;
• Poisson e binomial negativa para dados de contagem, com a segunda sendo especialmente útil quando há superdispersão;
• Normal para médias amostrais sob as condições do Teorema Central do Limite.

O roteiro para identificar a distribuição dos seus dados

O procedimento é o mesmo qualquer que seja a variável, e se apoia mais na natureza do dado do que em testes automáticos.

A sequência funciona assim:

O que se ganha ao verificar a distribuição

A verificação custa pouco: um histograma, duas medidas de forma e um QQ-plot podem revelar, em poucos minutos, se a distribuição assumida é compatível com os dados — antes de qualquer estimação.

O que se evita com essa etapa pode ser muito mais relevante:

• um modelo de risco baseado na normalidade pode subestimar a frequência e a magnitude das perdas extremas;
• um indicador de renda baseado na média pode ser fortemente influenciado pelos valores mais altos e deixar de representar adequadamente o domicílio típico;
• um modelo de contagem que ignora a superdispersão pode produzir intervalos de confiança estreitos demais e transmitir uma precisão que os dados não sustentam.

A importância dessa verificação depende também do uso que se faz do dado:

• Profissionais do mercado financeiro: identificar caudas pesadas ajuda a evitar modelos de risco que subestimam a frequência e a magnitude das perdas extremas.
• Economistas: reconhecer a assimetria da distribuição da renda ajuda a decidir entre medidas como média e mediana e pode orientar transformações, como o uso do logaritmo em regressões.
• Cientistas de dados: avaliar a distribuição antes da modelagem ajuda a escolher uma especificação compatível com a natureza e o comportamento dos dados, especialmente em modelos de contagem.
• Pesquisadores e estudantes: o QQ-plot permite diagnosticar visualmente onde uma distribuição candidata se afasta dos dados observados, oferecendo uma informação que medidas-resumo e testes isolados não conseguem mostrar.

Referências

CONT, R. Empirical properties of asset returns: stylized facts and statistical issues. Quantitative Finance, v. 1, n. 2, p. 223-236, 2001.

FORBES, C. et al. Statistical distributions. 4. ed. Hoboken: John Wiley & Sons, 2011.

KLEIBER, C.; KOTZ, S. Statistical size distributions in economics and actuarial sciences. Hoboken: John Wiley & Sons, 2003.

LEEMIS, L. M.; McQUESTON, J. T. Univariate distribution relationships. The American Statistician, v. 62, n. 1, p. 45-53, 2008.

WASSERMAN, L. All of statistics: a concise course in statistical inference. New York: Springer, 2004.

Leia também: O alicerce da ciência de dados: entendendo o processo gerador dos dados