No contexto de ciência de dados, é comum ter que lidar com problemas nos dados de um modelo preditivo, tais como valores extremos (outliers) ou valores ausentes (missing data). Em muitos casos, é preciso aplicar pré-processamentos para validar e utilizar um modelo, ao mesmo tempo que é necessário evitar o vazamento de dados (data leakage). Abordamos estes desafios neste artigo mostrando exemplos com dados reais em aplicações nas linguagens de programação R e Python.
Tutorial sobre o processo gerador dos dados (PGD): o que é, por que importa para inferências e previsões válidas, e como identificar a distribuição de uma variável no Python, com simulação reproduzível e comparação formal entre candidatas.
O que é uma variável quantitativa? E uma variável qualitativa? Quais são os exemplos dessas variáveis? E quais ferramentas de análise exploratória de dados podem ser usadas para cada caso? Neste artigo mostramos as diferenças entre os principais tipos de variáveis usadas em ciência de dados e vemos exemplos práticos com dados públicos.
Neste post, veremos quais são os principais formatos nos quais os dados costumam ser disponibilizados e aprenderemos, através de exemplos práticos, sobre as ferramentas de ciência de dados para coletar essas informações, sejam de fontes nacionais ou internacionais, seja usando o R ou o Python.
Neste artigo, percorremos o ciclo de análise de dados de ponta a ponta, visando resolver um problema de assimetria de informação no mercado de combustíveis. Mostramos uma visão geral sobre o processo de análise de dados no dia a dia de trabalho, dando ênfase na linha de raciocínio por trás de cada etapa e ressaltando ferramentas e alternativas que podem ser utilizadas.