Esse projeto consiste em um desafio proposto pela SolarView como parte do processo seletivo para Cientista de Dados.
Observação: A publicação do desafio foi autorizada pelo responsável pelo processo seletivo.
Um clinte internacional da SolarView pediu para realizarmos uma análise exploratória de dados para entender melhor sobre o proprio negocio. A ideia é aplicarmos modelos de machine learning para realizar a previsão do consumo de energia em megawatts (MW). Ele enviou diversas bases de dados, precisamos com rapidez de uma análise. O objetivo é enviar tanto um SQL quanto uma análise exploratória dos dados para nosso pesquisador de machine learning dar segmento.
O objetivo geral do desafio é enviar um SQL e uma análise exploratória dos dados.
Para atender o objetivo geral, devem ser desenvolvidos três tarefas:
- Criar um banco de dados que vai conter todas as bases de dados.
- Realizar uma análise exploratória dos dados utilizando visualização de dados, análise estatística e análise de séries temporais
- Gerar um relatório sobre o consumo de energia em Megawatts
O projeto foi desenvolvido seguindo diferentes técnicas e abordagens para atender cada um dos objetivos específicos.
A primeira tarefa, "Criar um banco de dados que vai conter todas as bases de dados" foi desenvolvida na linguagem Python utilizando (principalmente), o pacote Pandas.
Foram realizados estudos dos dados disponibilizados, carga dos dados no formato Apache Parquet, csv e de múltiplos arquivos csv, transformações nos dados e, por fim, os dados de saída nos formatos csv, .db (SQLite) e script SQL.
A segunda tarefa, "Realizar uma análise exploratória dos dados utilizando visualização de dados, análise estatística e análise de séries temporais" foi desenvolvida na linguagem R.
A terceira tarefa, "Gerar um relatório sobre o consumo de energia em Megawatts" foi desenvolvida na linguagem Python.