Como construir uma base de dados para gerar previsões para a inflação medida pelo IPCA

Neste exercício, apresentamos as principais fontes de dados públicos utilizadas na macroeconomia e desenvolvemos uma rotina para coletar, tratar e disponibilizar (ETL) as variáveis para uso em modelos preditivos.

Fontes de dados

Nesta seção descrevemos informações gerais sobre as bases de dados utilizadas no curso de IA para Previsão Macroeconômica usando Python.

Instituição Tipo Base de dados
Banco Central do Brasil (BCB) Nacional Sistema SGS e sistema Expectativas
Instituto Brasileiro de Geografia e Estatística (IBGE) Nacional Sistema SIDRA
Instituto de Pesquisa Econômica Aplicada (IPEA) Nacional Sistema IPEADATA
Federal Reserve Bank of St. Louis (FED) Internacional Sistema FRED

Metadados

Nesta seção descrevemos informações gerais sobre os metadados das variáveis utilizadas no curso (resumido).

Tema Variável Descrição Unidade Região Frequência Fonte Forma de Coleta Input de Coleta Identificador Transformação Tipo
0 Atividade Econômica Fabricação de celulose, papel e produtos de papel Variação mês/mês imediatamente anterior, com a... m/m % Brasil Mensal IBGE/SIDRA API https://apisidra.ibge.gov.br/values/t/8888/n1/... prod_ind_papel 1 Independente
1 Atividade Econômica Fabricação de cimento Variação mês/mês ano anterior m/m-12 % Brasil Mensal IBGE/SIDRA API https://apisidra.ibge.gov.br/values/t/8885/n1/... prod_ind_cimento 1 Independente
2 Atividade Econômica Fabricação de produtos de borracha e de materi... Variação mês/mês imediatamente anterior, com a... m/m % Brasil Mensal IBGE/SIDRA API https://apisidra.ibge.gov.br/values/t/8888/n1/... prod_ind_borracha 1 Independente
3 Atividade Econômica Hiato do Produto IFI, Função de Produção % Brasil Trimestral IFI Link https://www12.senado.leg.br/ifi/dados/arquivos... hiato_produto 1 Independente
4 Atividade Econômica Imposto sobre a circulação de mercadorias (ICMS) Mil R$ Brasil Mensal IPEADATA API CONFAZ12_ICMSN12 icms 5 Independente

Erros e soluções

Nesta seção descrevemos informações gerais sobre as principais dúvidas relacionadas a coleta e tratamento de dados, listando alguns possíveis erros e soluções.

Erros envolvendo coleta de dados online são comuns. Alguns dos motivos que podem levar a erros na execução do código são:

  • Conexão de internet instável
  • Fonte de dados instável
  • Mudanças inesperadas na fonte de dados
  • Uso de versões de funções ou bibliotecas com comportamentos inesperados

Para resolver grande parte dos possíveis problemas que podem surgir, olhe com atenção as mensagens para tentar chegar na raiz do problema. Frequentemente, tentar novamente em outro momento soluciona o erro.

Erro Solução
Rodei o código e deu erro Ler a mensagem de erro para diagnosticar o problema
Mensagem de erro na coleta dos dados
  • Verificar conexão com a internet
  • Verificar funcionamento da fonte de dados
  • Verificar mudanças de link ou API
  • Tentar novamente em outro momento
Mensagem de erro no tratamento de dados
  • Verificar mudanças na versão das bibliotecas
  • Verificar mudanças na tabela da fonte de dados
  • Verificar tipos das colunas

Código para construir base de dados

Nesta seção apresentamos o código utilizado para construir a base de dados macroeconômica, separada em tabelas por frequência das séries temporais. Para detalhes, veja a aula e os cursos de introdução à programação da Análise Macro.

Ao final, o código deve geral 4 arquivos locais com as tabelas de dados em uma pasta dados:

  • df_diaria.parquet
  • df_mensal.parquet
  • df_trimestral.parquet
  • df_anual.parquet

O código é organizado nas seguintes seções:

  • Bibliotecas
  • Funções
  • Coleta de dados
  • Tratamento de dados
  • Disponibilização de dados

Tenha acesso ao código e suporte desse e de mais 500 exercícios no Clube AM!

Quer o código desse e de mais de 500 exercícios de análise de dados com ideias validadas por nossos especialistas em problemas reais de análise de dados do seu dia a dia? Além de acesso a vídeos, materiais extras e todo o suporte necessário para você reproduzir esses exercícios? Então, fale com a gente no Whatsapp e veja como fazer parte do Clube AM, clicando aqui.

Compartilhe esse artigo

Facebook
Twitter
LinkedIn
WhatsApp
Telegram
Email
Print

Comente o que achou desse artigo

Outros artigos relacionados

Coletando dados regionais do CAGED no Python

Os dados regionais do CAGED permitem analisar o mercado de trabalho de forma detalhada, em termos de setores, educação, rendimento e características pessoais dos trabalhadores brasileiros. Neste exercício mostramos como acessar estas informações online via Python.

Coletando dados de Setores Censitários do Censo 2022 no Python

Dados sobre a demografia e o território são primordiais para definir e implementar políticas públicas, áreas de atuação comercial e/ou estratégias de marketing. Sendo assim, saber usar os dados do Censo 2022 pode trazer vantagens competitivas. Neste exercício mostramos como obter os dados da Malha de Setores Censitários no formato vetorial (GeoJson) usando o Python.

Boletim AM

Receba diretamente em seu e-mail gratuitamente nossas promoções especiais e conteúdos exclusivos sobre Análise de Dados!

Boletim AM

Receba diretamente em seu e-mail gratuitamente nossas promoções especiais e conteúdos exclusivos sobre Análise de Dados!

como podemos ajudar?

Preencha os seus dados abaixo e fale conosco no WhatsApp

Boletim AM

Preencha o formulário abaixo para receber nossos boletins semanais diretamente em seu e-mail.