Dados: como são disponibilizados e como são coletados

Formatos de dados

Não apenas na ciência de dados, mas também na economia, em finanças e em várias outras áreas, os dados costumam ser a matéria prima usada como a base para gerar e utilizar informações na resolução de problemas de negócio. No entanto, eles podem ser disponibilizados em variados formatos e cabe ao profissional de dados conhecer os detalhes técnicos para ser capaz de processar (coletar) os dados e tirar algo útil dos mesmos.

Coleta de dados é, usualmente, a primeira etapa de uma análise de dados, que envolve identificar a fonte, definir as informações de interesse e importar os dados para prosseguir com a análise. Em termos práticos, isso significa que você pega um arquivo, um banco de dados ou uma web application programming interface (API) e carrega essa informação para o ambiente de programação. Em geral, o resultado esperado é uma tabela com as variáveis e suas observações.

Existem inúmeros formatos de arquivos usados para armazenar dados, assim como um grande número de bibliotecas no R e no Python para processar estes arquivos. Abaixo resumimos os principais e, geralmente, mais usados:

Em geral, podemos agrupar essas opções formatos de arquivos e ferramentas para processá-los em dois grupos: quando os dados estão disponibilizados online ou quando estão disponibilizados offline.

A coleta de dados online é quando a fonte dos dados é um local na internet, por exemplo:

• Links para arquivos CSV
• Ponto de acesso para uma API
• Web scraping de uma página

A coleta de dados offline é quando a fonte de dados é um local no seu computador, por exemplo:

• Arquivos CSV
• Banco de dados SQL

Fontes de dados

Além de os dados serem disponibilizados em variados formatos, existem também diversas fontes onde eles ficam armazenados. As fontes de dados são fundamentais para a coleta e análise de informações relevantes em diversos segmentos.

Vamos destacar algumas fontes de dados interessantes, divididas em dois segmentos:

• Fontes Nacionais: importantes referências para coletar dados sobre a economia, finanças e indicadores sociais do país.
  • Banco Central do Brasil (BCB): responsável por gerir a política monetária, o câmbio e o sistema financeiro, e disponibiliza informações relevantes sobre esses temas.
  • Instituto Brasileiro de Geografia e Estatística (IBGE): responsável pela produção e análise de estatísticas socioeconômicas e demográficas, como o censo populacional, indicadores de desigualdade, renda e trabalho.
  • IPEADATA: é uma fonte especializada em dados econômicos, financeiros e sociais, oferecendo uma ampla gama de informações e séries históricas.
• Fontes Internacionais: importantes referências para coletar dados sobre a economia global.
  • Banco Mundial (WB): fornece informações sobre a economia mundial, incluindo dados sobre comércio, finanças, pobreza e desigualdade.
  • Fundo Monetário Internacional (FMI): fornece informações sobre a economia mundial, incluindo dados sobre comércio, finanças, pobreza e desigualdade.
  • FRED: é uma base de dados mantida pela Reserva Federal dos Estados Unidos, que disponibiliza uma grande variedade de séries temporais sobre a economia dos EUA.
  • Organização para Cooperação e Desenvolvimento Econômico (OCDE): é uma organização internacional que promove a cooperação entre países em questões econômicas e sociais, e disponibiliza dados comparativos entre seus países membros, como PIB, educação, saúde e meio ambiente.

Em resumo, a coleta de dados é uma etapa crucial em qualquer análise ou tomada de decisão, e essas fontes nacionais e internacionais são de grande relevância para a obtenção de informações confiáveis e atualizadas.

Agora que entendemos quais são os principais formatos de arquivos de dados, onde eles podem estar disponíveis e quais ferramentas podem ser utilizadas para processá-los, vamos ver alguns exemplos práticos de coleta de dados.

Coleta de dados

A coleta de dados é uma etapa crucial no ciclo de análise de dados, pois é quando verificamos se os dados estão disponíveis e como efetuaremos a coleta dos mesmos para resolver um problema com análise de dados.

Não é necessário aprender sobre todas as formas de coletas de dados para todas as fontes de dados existentes por aí (você provavelmente passaria o resto da sua vida fazendo isso), mas é importante aprender as principais e os fundamentos que servem para as demais. Portanto, vamos mostrar 3 exemplos de coleta de dados usando R e Python:

• Arquivo CSV online
• Requisição em uma API
• Consulta em um Banco de Dados SQL

Para reproduzir estes exemplos você vai precisar de um ambiente de programação com R e Python instalados e configurados, além dos pacotes utilizados nos exemplos.

Para acesso aos códigos faça parte do Clube AM da Análise Macro.

         data     pib
0  1996-01-01   99.55
1  1996-04-01  100.44
2  1996-07-01  104.38
3  1996-10-01  103.30
4  1997-01-01  104.32

<Response [200]>

            data   valor
9616  17/04/2023  4.9421
9617  18/04/2023  4.9678
9618  19/04/2023  5.0467
9619  20/04/2023  5.0497
9620  24/04/2023  5.0595

Downloading:   0%|          | 0/10 [00:00<?, ?rows/s]
Downloading: 100%|##########| 10/10 [00:00<00:00, 26.34rows/s]
Downloading: 100%|##########| 10/10 [00:00<00:00, 26.34rows/s]

    ano  trimestre id_uf sigla_uf  ...    V1028199    V1028200 habitual efetivo
0  2022          2    23       CE  ...  208.898028  414.372321      NaN     NaN
1  2022          2    23       CE  ...  169.516832  333.114762      NaN     NaN
2  2022          2    23       CE  ...  208.443975  387.163248      NaN     NaN
3  2022          2    23       CE  ...  199.550423  412.903163      NaN     NaN
4  2022          2    23       CE  ...  208.898028  414.372321      NaN     NaN
5  2022          2    23       CE  ...  208.443975  387.163248      NaN     NaN
6  2022          2    23       CE  ...  179.147456  341.930622      NaN     NaN
7  2022          2    23       CE  ...  226.804442  465.257305      NaN     NaN
8  2022          2    23       CE  ...  187.964673  379.791755      NaN     NaN
9  2022          1    23       CE  ...  223.430006    0.000000      NaN     NaN

[10 rows x 423 columns]