Como usar o Python para analisar dados que não cabem no Excel?

Análises de dados no Excel são limitadas a 1 milhão de linhas, o que é um grande problema numa era de Big Data. Com o passar dos anos, tem se tornado cada vez mais inevitável trabalhar com grandes volumes de dados.

Para superar este desafio, o Python oferece diversos pacotes que lidam com grandes volumes de dados e análises complexas. Se os dados cabem na memória do PC, basta importar a tabela com uma função e seguir para sua análise. Se os dados não cabem na memória, é possível armazenar a tabela em uma base de dados SQL e, então, seguir para a análise (sem sair do Python).

Aprenda a coletar, processar e analisar dados na formação de Do Zero à Análise de Dados com Python.

Com esta versatilidade, a linguagem Python vem se consolidando como um forte substituto de ferramentas como o Excel, além de possibilitar o uso de análises avançadas, machine learning e inteligência artificial. Neste artigo mostramos como utilizar o Python em um exemplo prático para processar e analisar um grande volume de dados das pesquisas do IBGE, o que não seria possível no Excel.

Passo 01: bibliotecas de Python

Para processar e analisar grandes volumes de dados que caibam na memória usando o Python, existem algumas opções de bibliotecas. O Pandas é, provavelmente, a biblioteca mais popular para este propósito, possibilitando leitura, análise e visualização de dados.

Aqui importamos a biblioteca Pandas para importar e processar os dados, além de bibliotecas auxiliares para baixar arquivos de dados online e para gerar gráficos de análise de dados.

Para obter o código e o tutorial deste exercício faça parte do Clube AM e receba toda semana os códigos em R/Python, vídeos, tutoriais e suporte completo para dúvidas.

Passo 02: dados de exemplo

Para demonstrar como utilizar o Python para processar e analisar dados que não caberiam no Excel, recorremos aos dados da pesquisa POF do IBGE, no que se refere ao Consumo Alimentar nos domicílios brasileiros. Estes dados passam de 1,5 milhão de linhas, mas ainda sim cabem na memória do PC (em computadores modernos).

Aqui escrevemos um código Python para baixar os arquivos necessários do site do IBGE e importar a tabela de dados sobre Consumo Alimentar, selecionando colunas de interesse.

V9015 DIA_SEMANA
0 8H Quarta-Feira
1 8H Quarta-Feira
2 8H Quarta-Feira
3 8H Quarta-Feira
4 12H Quarta-Feira
... ... ...
1175385 17H Terca-Feira
1175386 20H Terca-Feira
1175387 21H Terca-Feira
1175388 21H Terca-Feira
1175389 23H Terca-Feira

1175390 rows × 2 columns

O total de linhas desta tabela é:

1175390

Podem acontecer duas coisas se você tentar colocar esta tabela em uma planilha Excel: o programa pode travar ou os dados serão perdidos após o limite de linhas do programa.

Passo 03: análise de dados

Uma vez que os dados estejam disponíveis em uma tabela no Python, é possível fazer diversas análises interessantes. Aqui optamos por fazer uma análise para responder a seguinte pergunta: “Em qual horário os brasileiros se alimentam?”

Com este questionamento em mente, geramos um gráfico de histograma para analisar a distribuição do horário de alimentação de acordo com o dia da semana. O resultado é este:

Por simplicidade, desconsideramos os pesos amostrais da pesquisa, o que pode influenciar em resultados diferentes dos verdadeiros. Para saber mais sobre microdados e como analisá-los, confira o curso Análise de Microdados Brasileiros da Análise Macro.

Conclusão

Análises de dados no Excel são limitadas a 1 milhão de linhas, o que é um grande problema numa era de Big Data. Para superar este desafio, o Python oferece diversos pacotes que lidam com grandes volumes de dados e análises complexas. Neste artigo mostramos como superar esta limitação com um exemplo prático usando dados do IBGE.

Quer aprender mais?

Clique aqui para fazer seu cadastro no Boletim AM e baixar o código que produziu este exercício, além de receber novos exercícios com exemplos reais de análise de dados envolvendo as áreas de Data Science, Econometria, Machine Learning, Macroeconomia Aplicada, Finanças Quantitativas e Políticas Públicas diretamente em seu e-mail.

Compartilhe esse artigo

Facebook
Twitter
LinkedIn
WhatsApp
Telegram
Email
Print

Comente o que achou desse artigo

Outros artigos relacionados

A Abordagem do Estudo de Eventos usando Python

A maioria das pesquisas em finanças está dedicada a investigar o efeito de um anúncio da companhia ou de um evento, sistêmico ou não, sobre o preço de uma ação. Esses estudos são conhecidos como “estudos de eventos”. Neste contexto, apresentaremos uma breve introdução à metodologia e demonstraremos como aplicá-la por meio de exemplos reais utilizando a linguagem de programação Python.

Como coletar dados do Eurostat usando a API com o Python?

Neste artigo mostramos como pesquisar e como coletar os dados do portal Eurostat através do sistema de API usando a linguagem Python. Este processo permite automatizar rotinas de extração de dados, eliminando trabalho manual e repetitivo de atualização de bases de dados econômicos.

como podemos ajudar?

Preencha os seus dados abaixo e fale conosco no WhatsApp

Boletim AM

Preencha o formulário abaixo para receber nossos boletins semanais diretamente em seu e-mail.