Análises de dados no Excel são limitadas a 1 milhão de linhas, o que é um grande problema numa era de Big Data. Com o passar dos anos, tem se tornado cada vez mais inevitável trabalhar com grandes volumes de dados.
Para superar este desafio, o Python oferece diversos pacotes que lidam com grandes volumes de dados e análises complexas. Se os dados cabem na memória do PC, basta importar a tabela com uma função e seguir para sua análise. Se os dados não cabem na memória, é possível armazenar a tabela em uma base de dados SQL e, então, seguir para a análise (sem sair do Python).
Aprenda a coletar, processar e analisar dados na formação de Do Zero à Análise de Dados com Python.
Com esta versatilidade, a linguagem Python vem se consolidando como um forte substituto de ferramentas como o Excel, além de possibilitar o uso de análises avançadas, machine learning e inteligência artificial. Neste artigo mostramos como utilizar o Python em um exemplo prático para processar e analisar um grande volume de dados das pesquisas do IBGE, o que não seria possível no Excel.
Passo 01: bibliotecas de Python
Para processar e analisar grandes volumes de dados que caibam na memória usando o Python, existem algumas opções de bibliotecas. O Pandas é, provavelmente, a biblioteca mais popular para este propósito, possibilitando leitura, análise e visualização de dados.
Aqui importamos a biblioteca Pandas para importar e processar os dados, além de bibliotecas auxiliares para baixar arquivos de dados online e para gerar gráficos de análise de dados.
Para obter o código e o tutorial deste exercício faça parte do Clube AM e receba toda semana os códigos em R/Python, vídeos, tutoriais e suporte completo para dúvidas.
Passo 02: dados de exemplo
Para demonstrar como utilizar o Python para processar e analisar dados que não caberiam no Excel, recorremos aos dados da pesquisa POF do IBGE, no que se refere ao Consumo Alimentar nos domicílios brasileiros. Estes dados passam de 1,5 milhão de linhas, mas ainda sim cabem na memória do PC (em computadores modernos).
Aqui escrevemos um código Python para baixar os arquivos necessários do site do IBGE e importar a tabela de dados sobre Consumo Alimentar, selecionando colunas de interesse.
| V9015 | DIA_SEMANA | |
|---|---|---|
| 0 | 8H | Quarta-Feira |
| 1 | 8H | Quarta-Feira |
| 2 | 8H | Quarta-Feira |
| 3 | 8H | Quarta-Feira |
| 4 | 12H | Quarta-Feira |
| ... | ... | ... |
| 1175385 | 17H | Terca-Feira |
| 1175386 | 20H | Terca-Feira |
| 1175387 | 21H | Terca-Feira |
| 1175388 | 21H | Terca-Feira |
| 1175389 | 23H | Terca-Feira |
1175390 rows × 2 columns
O total de linhas desta tabela é:
1175390Podem acontecer duas coisas se você tentar colocar esta tabela em uma planilha Excel: o programa pode travar ou os dados serão perdidos após o limite de linhas do programa.
Passo 03: análise de dados
Uma vez que os dados estejam disponíveis em uma tabela no Python, é possível fazer diversas análises interessantes. Aqui optamos por fazer uma análise para responder a seguinte pergunta: “Em qual horário os brasileiros se alimentam?”
Com este questionamento em mente, geramos um gráfico de histograma para analisar a distribuição do horário de alimentação de acordo com o dia da semana. O resultado é este:
Conclusão
Análises de dados no Excel são limitadas a 1 milhão de linhas, o que é um grande problema numa era de Big Data. Para superar este desafio, o Python oferece diversos pacotes que lidam com grandes volumes de dados e análises complexas. Neste artigo mostramos como superar esta limitação com um exemplo prático usando dados do IBGE.
Quer aprender mais?
Clique aqui para fazer seu cadastro no Boletim AM e baixar o código que produziu este exercício, além de receber novos exercícios com exemplos reais de análise de dados envolvendo as áreas de Data Science, Econometria, Machine Learning, Macroeconomia Aplicada, Finanças Quantitativas e Políticas Públicas diretamente em seu e-mail.
