Um fato em modelagem dimensional é um registro de negócio que representa um evento, normalmente apresentado de forma quantitativa, mas em alguns casos pode ter aspectos não numéricos. Dessa forma, quando definimos o fato, ele deve sempre estar alinhada aos business drivers, pois são eles que determinam os cálculos e indicadores relevantes para o negócio.
Na análise, utilizou-se um racional comum para a compreensão dos fatos, sendo eles:
- Evento ocorrido ou previsto:
A colheita da soja resultou em 65 sc/ha.
O plantio foi feito a 5 km/h de velocidade.
- Mensuravéis com valores numéricos:
Produtividade, custo, peso, velocidade, quantidade, densidade.
Existem outras possibilidades de análise dos fatos como um fato transacional, snapshot e acumulado, porém foram utilizados somente o racional acima no contexto atual do projeto.
Desta maneira, segue abaixo um descritivo de cada tabela fato:
| Nome da Tabela Fato | Granularidade | Descrição da Granularidade | Medidas Armazenadas |
|---|---|---|---|
| fato_inscricao | Por inscrição/propriedade agrícola na safra | Cada registro representa o resumo da área cultivada e a produtividade final de soja para uma determinada propriedade (inscrição) em uma safra específica. | Total_Area_Cultivada_Soja_Propriedade, Produtividade_Final_sc_ha |
| fato_plantacao | Por lavoura × safra × evento de plantio | Cada registro representa informações médias coletadas em relação à plantação, incluindo população de plantas, altura, inserção de vagem, área auditada e custos associados. | Populacao_Plantas_Calculada_ha, Media_Vagens_Planta, Media_Altura_Plantas, Media_Insercao_Primeira_Vagem, Media_Medicao_Area_Auditada_ha, Produtividade_Final_kg_ha, Custo_Total_ha, Custo_Total_sc |
| fato_solo | Por operação/aplicação de insumo no solo | Cada registro corresponde a práticas de manejo e preparo do solo, registrando se houve tratamento específico e parâmetros técnicos aplicados. | Realizou_TS, Abertura_de_Sulco |
| fato_tecnologia | Por uso de máquina ou equipamento em operação agrícola | Cada registro reflete o uso de maquinário no processo produtivo, como plantio, pulverização e colheita, registrando velocidades e capacidade operacional. | Velocidade_Plantadeira_km_h, Pulverizador_Velocidade_km_h, Colhedora_Velocidade_km_h, Numero_Linhas |
Caso queira verificar de forma exaustiva os fatos: Fatos & Dimensões
As dimensões em um contexto de modelagem dimensional nos auxilia a contextualizar e detalhar os fatos, ou seja, são eixos descritivos e de filtragem dos nossos cálculos.
Para isso, a definição das dimensões se deu pelo seguinte raciocínio:
-
Definir qual era o fato central que precisávamos analisar;
-
Identificar os atributos que poderiam nos ajudar a explicar esse fato central
Exemplo: atributos que não sejam valores numéricos e que descrevem um evento. Além disso, os atributos devem ser usados para filtrar, agrupar ou segmentar as métricas colhidas nos fatos.
-
Agrupar os atributos em comum, ou seja, todos os atributos que descrevem o mesmo tipo de entidade
Exemplo: Atributos que falem sobre a propriedade.
Segue abaixo um descritivo de cada tabela dimensão:
| Nome da Tabela Dimensão | Atributos | Hierarquias Relacionadas |
|---|---|---|
| dim_produtor | Id_Produtor, Nome_Produtor, Data_Nascimento_Produtor, Genero_Produtor, Regiao_Produtor, UF_Produtor, Cidade_Produtor | Cidade_Produtor → UF_Produtor → Regiao_Produtor → Brasil |
| dim_consultor | Id_Consultor, Nome_Consultor, Data_Nascimento_Consultor, Genero_Consultor | Não se aplica |
| dim_propriedade | Nome_Propriedade, Registro_CAR_Propriedade, Cidade_Propriedade, UF_Propriedade, Regiao_Propriedade, Tamanho_propriedade, Area_Agricultavel_Propriedade, Area_Cultivada_Soja_Propriedade | Propriedade → Cidade_Propriedade → UF_Propriedade → Regiao_Propriedade → Brasil |
| dim_autor | Id_Autor, Nome_Autor, Data_Nascimento_Autor, Genero_Autor | Não se aplica |
| dim_inscricao | Inscrição, BD_Origem, Data_Ultima_Edicao, Safra, Titulo, Patrocinador, Tipo_Irrigacao_Area_Inscrita, Turno_Rega_Area_Inscrita, Sistema_Plantio_Area_Inscrita, Tempo_Exploracao_Agricola_Area_Inscrita, Modelo_Producao_Area_Inscrita, Utiliza_Pratica_Conservacao_Area_Inscrita, Pratica_Conservacao_Area_Inscrita, Situacao_Inscricao, Auditoria_Realizada, Classificado, Status_Classificacao, Ano_Semeadura_Safrinha, Safrinha, Cultura_Safrinha, Gleba_inscrita, Produtividade_Media_Retrasada_kg_ha, Produtividade_Media_Passada_kg_ha, Produtividade_Media_Atual_kg_ha, Categoria, Nacional, Regional, Estadual, Municipal, Coletou_Solo, Custo_Producao_Reais_ha, Valor_Medio_Venda | Data_Inscricao → Mês → Ano → Safra → Ciclo de Safra |
| dim_solo | Sk_Tipo_Solo, Id_Tipo_Solo, Textura_Solo, Classificacao_Solo, Densidade, Densidade_0_a_10, Densidade_10_a_20, Densidade_20_a_30, Densidade_30_a_40, Densidade_40_a_50, Densidade_50_a_60, Densidade_60_a_70, Densidade_70_a_80, Densidade_80_a_90, Densidade_90_a_100 | Não se aplica |
| dim_plantas | Populacao_Almejadas_plantas_ha, Media_Stand_Plantas, Quantidade_Sementes_kg_ha, Espacamento_Entre_Linhas_cm, Arranjo_Espacial, Sistema_Distribuicao, Profundidade_Semeadura | População → Espaçamento → Sistema de Distribuição |
| dim_graos | Coletou_Graos, Peso_Mil_Graos_Afericao_Media_kg, Graos_por_Vagem_01, Graos_por_Vagem_02, Graos_por_Vagem_03, Graos_por_Vagem_04, peso_fator_01, peso_fator_02, peso_fator_03 | Não se aplica |
| dim_cultura_ciclo | Ciclo_Maturacao_Cultivar, Procedencia_Semente, Fatores_Importancia_na_Escolha_do_Cultivar, fator_01, fator_02, fator_03 | Cultura → Ciclo Maturação Cultivar → Procedência |
| dim_custos | Custos_Area_Audit, Custo_Mao_de_Obra, Custo_Mecanizacao, Custo_Adubacao_Corretivos, Custo_Defensivos, Custo_Beneficiamentos, Custo_Semente | Classificação de Custo → Tipo de Custo → Unidade de Medida |
| dim_problemas_fitossanitários | Principais_Doencas, Tipos_de_Controle_Principais_Doencas, Principais_Plantas_Daninhas, Tipos_de_Controle_Principais_Plantas_Daninhas, Principais_Pragas, Tipos_de_Controle_Principais_Pragas | Não se aplica |
| dim_tratamento_semente | Sk_Tratamento_Semente, Id_Tratamento_Semente, Tratamento_Semente, Realizou_TS, Onde_Realizou_TS, Como_Foi_Realizado, Classe_Produto, Fabricante_Produto, Produto | Realizou_TS → Forma Aplicação → Produto → Fabricante |
| dim_agroquimico | Sk_Agroquimico, Id_Agroquimico, Tipo_Aplicacao, Forma_Aplicacao, Estadio_Fenologico, Fabricante_Agroquimico, Classe_Agroquimico, Nome_Agroquimico, Unidade, Nr_Aplicacao, PH_Calda, Volume_Calda_l_ha, Dose | Classe de Produto → Nome Comercial → Fabricante |
| dim_adubacao | Tipo_Adubacao, Fabricante, Nome_Comercial, Unidade, Modo_Aplicacao, Dias_Antes_Semeadura, Dias_Apos_Semeadura, Estadio_Fenologico, Origem, Momento_Aplicacao, Data_Semeadura | Tipo → Produto → Fabricante |
| dim_manejo_solo | Revolvimento_Solo, Implemento_Utilizado, Profundidade_Atingida, Houve_Nematoide, Tipo_de_Nematoide, Manejos_Utilizados | Não se aplica |
| dim_tecnologia_agricola | Usa_Agricultura_Precisao, Nivel_Utilizacao, Tecnologia_Agricultura_de_Precisao, Potencia_Trator_CV | Não se aplica |
| dim_plantadeira | Plantadeira_Fabricante, Plantadeira_Modelo, Plantadeira_Ano, Abertura_Sulco, Distribuicao_Semente, Tem_Caixa_Adubo, Utilizou_Caixa_Adubo | Fabricante → Modelo → Ano |
| dim_pulverizador | Pulverizador_Fabricante, Pulverizador_Modelo, Pulverizador_Ano, Pulverizador_Bicos, Bico_Pulv_1, Bico_Pulv_2, Bico_Pulv_3, Pulverizador_Volume_Tanque_L | Fabricante → Modelo → Ano |
| dim_colhedora | Colhedora_Fabricante, Colhedora_Modelo, Colhedora_Ano, Tipo_Plataforma, Colhedora_Volume_Tanque_Graneleiro_L, Colhedora_Largura_Plataforma_pes | Fabricante → Modelo → Ano |
Caso queira verificar de forma exaustiva as dimensões: Fatos & Dimensões
O Data Mapping é o processo de mostrar como os dados das bases trabalhadas se conectam com as informações endereçadas das tabelas de fato e das dimensões. De forma geral, ele nos auxilia a entender de onde os dados estão sendo alocados, como eles são tranformados e para onde ele será redirecionado para que tenhamos uma base consistente e de fácil rastreabilidade.
| Campo Fonte | Tabela Origem | Campo DW | Tabela DW | Transformação |
|---|---|---|---|---|
| Total_Area_Cultivada_Soja_Propriedade | 01-Inscricao_Cadastro_2016a2024 | Total_Area_Cultivada_Soja_Propriedade | fato_inscricao | Conversão para numérico |
| Produtividade_Final_sc_ha | 01-Inscricao_Cadastro_2016a2024 | Produtividade_Final_sc_ha | fato_inscricao | Conversão para numérico |
| Populacao_Plantas_Calculada_ha | 01-Inscricao_Cadastro_2016a2024 | Populacao_Plantas_Calculada_ha | fato_plantacao | Conversão para numérico |
| Media_Vagens_Planta | 01-Inscricao_Cadastro_2016a2024 | Media_Vagens_Planta | fato_plantacao | Conversão para numérico |
| Media_Altura_Plantas | 01-Inscricao_Cadastro_2016a2024 | Media_Altura_Plantas | fato_plantacao | Conversão para numérico |
| Media_Insercao_Primeira_Vagem | 01-Inscricao_Cadastro_2016a2024 | Media_Insercao_Primeira_Vagem | fato_plantacao | Conversão para numérico |
| Media_Medicao_Area_Auditada_ha | 01-Inscricao_Cadastro_2016a2024 | Media_Medicao_Area_Auditada_ha | fato_plantacao | Conversão para numérico |
| Produtividade_Final_kg_ha | 01-Inscricao_Cadastro_2016a2024 | Produtividade_Final_kg_ha | fato_plantacao | Conversão para numérico |
| Custo_Total_ha | 01-Inscricao_Cadastro_2016a2024 | Custo_Total_ha | fato_plantacao | Conversão para numérico |
| Custo_Total_sc | 01-Inscricao_Cadastro_2016a2024 | Custo_Total_sc | fato_plantacao | Conversão para numérico |
| Realizou_TS | 01-Inscricao_Cadastro_2016a2024 | Realizou_TS | fato_solo | Limpeza de nulos e N/D, uppercase |
| Abertura_de_Sulco | 01-Inscricao_Cadastro_2016a2024 | Abertura_de_Sulco | fato_solo | Conversão para numérico |
| Velocidade_Plantadeira_km_h | 01-Inscricao_Cadastro_2016a2024 | Velocidade_Plantadeira_km_h | fato_tecnologia | Conversão para numérico |
| Pulverizador_Velocidade_km_h | 01-Inscricao_Cadastro_2016a2024 | Pulverizador_Velocidade_km_h | fato_tecnologia | Conversão para numérico |
| Colhedora_Velocidade_km_h | 01-Inscricao_Cadastro_2016a2024 | Colhedora_Velocidade_km_h | fato_tecnologia | Conversão para numérico |
| Numero_Linhas | 01-Inscricao_Cadastro_2016a2024 | Numero_Linhas | fato_tecnologia | Conversão para numérico |
| Campo Fonte | Tabela Origem | Campo DW | Tabela DW | Transformação |
|---|---|---|---|---|
| dim_produtor | ||||
| Id_Produtor | TABELA 01 - Inscricao_Cadastro | Id_Produtor | dim_produtor | Nenhuma |
| Nome_Produtor | TABELA 01 - Inscricao_Cadastro | Nome_Produtor | dim_produtor | Limpeza de nulos, título/case consistente |
| Data_Nascimento_Produtor | TABELA 01 - Inscricao_Cadastro | Data_Nascimento_Produtor | dim_produtor | Conversão para formato datetime |
| Genero_Produtor | TABELA 01 - Inscricao_Cadastro | Genero_Produtor | dim_produtor | Conversão para uppercase, limpeza de nulos |
| Regiao_Produtor | TABELA 01 - Inscricao_Cadastro | Regiao_Produtor | dim_produtor | Conversão para uppercase |
| UF_Produtor | TABELA 01 - Inscricao_Cadastro | UF_Produtor | dim_produtor | Conversão para uppercase |
| Cidade_Produtor | TABELA 01 - Inscricao_Cadastro | Cidade_Produtor | dim_produtor | Título/case consistente |
| dim_consultor | ||||
| Id_Consultor | TABELA 01 - Inscricao_Cadastro | Id_Consultor | dim_consultor | Nenhuma |
| Nome_Consultor | TABELA 01 - Inscricao_Cadastro | Nome_Consultor | dim_consultor | Título/case consistente |
| Data_Nascimento_Consultor | TABELA 01 - Inscricao_Cadastro | Data_Nascimento_Consultor | dim_consultor | Conversão para formato datetime |
| Genero_Consultor | TABELA 01 - Inscricao_Cadastro | Genero_Consultor | dim_consultor | Conversão para uppercase |
| dim_propriedade | ||||
| Nome_Propriedade | TABELA 01 - Inscricao_Cadastro | Nome_Propriedade | dim_propriedade | Título/case consistente |
| Registro_CAR_Propriedade | TABELA 01 - Inscricao_Cadastro | Registro_CAR_Propriedade | dim_propriedade | Nenhuma |
| Cidade_Propriedade | TABELA 01 - Inscricao_Cadastro | Cidade_Propriedade | dim_propriedade | Título/case consistente |
| UF_Propriedade | TABELA 01 - Inscricao_Cadastro | UF_Propriedade | dim_propriedade | Conversão para uppercase |
| Regiao_Propriedade | TABELA 01 - Inscricao_Cadastro | Regiao_Propriedade | dim_propriedade | Conversão para uppercase |
| Tamanho_Propriedade | TABELA 01 - Inscricao_Cadastro | Tamanho_Propriedade | dim_propriedade | Conversão para formato numérico |
| Area_Agricultavel_Propriedade | TABELA 01 - Inscricao_Cadastro | Area_Agricultavel_Propriedade | dim_propriedade | Conversão para formato numérico |
| Area_Cultivada_Soja_Propriedade | TABELA 01 - Inscricao_Cadastro | Area_Cultivada_Soja_Propriedade | dim_propriedade | Conversão para formato numérico |
| dim_autor | ||||
| Id_Autor | TABELA 01 - Inscricao_Cadastro | Id_Autor | dim_autor | Nenhuma |
| Nome_Autor | TABELA 01 - Inscricao_Cadastro | Nome_Autor | dim_autor | Título/case consistente |
| Data_Nascimento_Autor | TABELA 01 - Inscricao_Cadastro | Data_Nascimento_Autor | dim_autor | Conversão para formato datetime |
| Genero_Autor | TABELA 01 - Inscricao_Cadastro | Genero_Autor | dim_autor | Conversão para uppercase |
| dim_inscricao | ||||
| Inscrição | TABELA 01 - Inscricao_Cadastro | Id_Inscricao | dim_inscricao | Nenhuma |
| BD_Origem | TABELA 01 - Inscricao_Cadastro | BD_Origem | dim_inscricao | Nenhuma |
| Data_Ultima_Edicao | TABELA 01 - Inscricao_Cadastro | Data_Ultima_Edicao | dim_inscricao | Conversão para formato datetime |
| Safra | TABELA 01 - Inscricao_Cadastro | Safra | dim_inscricao | Nenhuma |
| Titulo | TABELA 01 - Inscricao_Cadastro | Titulo | dim_inscricao | Título/case consistente |
| Patrocinador | TABELA 01 - Inscricao_Cadastro | Patrocinador | dim_inscricao | Título/case consistente |
| Tipo_Irrigacao_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Tipo_Irrigacao_Area_Inscrita | dim_inscricao | Título/case consistente |
| Turno_Rega_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Turno_Rega_Area_Inscrita | dim_inscricao | Título/case consistente |
| Sistema_Plantio_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Sistema_Plantio_Area_Inscrita | dim_inscricao | Título/case consistente |
| Tempo_Exploracao_Agricola_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Tempo_Exploracao_Agricola_Area_Inscrita | dim_inscricao | Título/case consistente |
| Modelo_Producao_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Modelo_Producao_Area_Inscrita | dim_inscricao | Título/case consistente |
| Utiliza_Pratica_Conservacao_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Utiliza_Pratica_Conservacao_Area_Inscrita | dim_inscricao | Nenhuma |
| Pratica_Conservacao_Area_Inscrita | TABELA 01 - Inscricao_Cadastro | Pratica_Conservacao_Area_Inscrita | dim_inscricao | Título/case consistente |
| Situacao_Inscricao | TABELA 01 - Inscricao_Cadastro | Situacao_Inscricao | dim_inscricao | Título/case consistente |
| Auditoria_Realizada | TABELA 01 - Inscricao_Cadastro | Auditoria_Realizada | dim_inscricao | Nenhuma |
| Classificado | TABELA 01 - Inscricao_Cadastro | Classificado | dim_inscricao | Nenhuma |
| Status_Classificacao | TABELA 01 - Inscricao_Cadastro | Status_Classificacao | dim_inscricao | Título/case consistente |
| Ano_Semeadura_Safrinha | TABELA 01 - Inscricao_Cadastro | Ano_Semeadura_Safrinha | dim_inscricao | Nenhuma |
| Safrinha | TABELA 01 - Inscricao_Cadastro | Safrinha | dim_inscricao | Nenhuma |
| Cultura_Safrinha | TABELA 01 - Inscricao_Cadastro | Cultura_Safrinha | dim_inscricao | Título/case consistente |
| Gleba_inscrita | TABELA 01 - Inscricao_Cadastro | Gleba_inscrita | dim_inscricao | Nenhuma |
| Produtividade_Media_Retrasada_kg_ha | TABELA 01 - Inscricao_Cadastro | Produtividade_Media_Retrasada_kg_ha | dim_inscricao | Conversão para numérico |
| Produtividade_Media_Passada_kg_ha | TABELA 01 - Inscricao_Cadastro | Produtividade_Media_Passada_kg_ha | dim_inscricao | Conversão para numérico |
| Produtividade_Media_Atual_kg_ha | TABELA 01 - Inscricao_Cadastro | Produtividade_Media_Atual_kg_ha | dim_inscricao | Conversão para numérico |
| Categoria | TABELA 01 - Inscricao_Cadastro | Categoria | dim_inscricao | Título/case consistente |
| Nacional | TABELA 01 - Inscricao_Cadastro | Nacional | dim_inscricao | Nenhuma |
| Regional | TABELA 01 - Inscricao_Cadastro | Regional | dim_inscricao | Nenhuma |
| Estadual | TABELA 01 - Inscricao_Cadastro | Estadual | dim_inscricao | Nenhuma |
| dim_solo | ||||
| Sk_Tipo_Solo | TABELA 03 - Correcao_Solo_Gessagem | Sk_Tipo_Solo | dim_solo | Nenhuma |
| Id_Tipo_Solo | TABELA 03 - Correcao_Solo_Gessagem | Id_Tipo_Solo | dim_solo | Nenhuma |
| Textura_Solo | TABELA 03 - Correcao_Solo_Gessagem | Textura_Solo | dim_solo | Título/case consistente |
| Classificacao_Solo | TABELA 03 - Correcao_Solo_Gessagem | Classificacao_Solo | dim_solo | Título/case consistente |
| Custo_Producao_Reais_ha | TABELA 09 - Inscricao_Produtor_Colheita | Custo_Producao_Reais_ha | dim_solo | Conversão para formato numérico |
| Valor_Medio_Venda | TABELA 09 - Inscricao_Produtor_Colheita | Valor_Medio_Venda | dim_solo | Conversão para formato numérico |
| Coletou_Solo | TABELA 09 - Inscricao_Produtor_Colheita | Coletou_Solo | dim_solo | Nenhuma |
| Densidade | TABELA 03 - Correcao_Solo_Gessagem | Densidade | dim_solo | Conversão para formato numérico |
| Densidade_0_a_10 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_0_a_10 | dim_solo | Conversão para formato numérico |
| Densidade_10_a_20 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_10_a_20 | dim_solo | Conversão para formato numérico |
| Densidade_20_a_30 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_20_a_30 | dim_solo | Conversão para formato numérico |
| Densidade_30_a_40 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_30_a_40 | dim_solo | Conversão para formato numérico |
| Densidade_40_a_50 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_40_a_50 | dim_solo | Conversão para formato numérico |
| Densidade_50_a_60 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_50_a_60 | dim_solo | Conversão para formato numérico |
| Densidade_60_a_70 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_60_a_70 | dim_solo | Conversão para formato numérico |
| Densidade_70_a_80 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_70_a_80 | dim_solo | Conversão para formato numérico |
| Densidade_80_a_90 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_80_a_90 | dim_solo | Conversão para formato numérico |
| Densidade_90_a_100 | TABELA 03 - Correcao_Solo_Gessagem | Densidade_90_a_100 | dim_solo | Conversão para formato numérico |
| Campo Fonte | Tabela Origem | Campo DW | Tabela DW | Transformação |
|---|---|---|---|---|
| dim_plantas | ||||
| Populacao_Almejadas_plantas_ha | TABELA 04 - Implantacao_Agricola | Populacao_Almejadas_plantas_ha | dim_plantas | Conversão para numérico |
| Media_Stand_Plantas | TABELA 04 - Implantacao_Agricola | Media_Stand_Plantas | dim_plantas | Conversão para numérico |
| Quantidade_Sementes_kg_ha | TABELA 04 - Implantacao_Agricola | Quantidade_Sementes_kg_ha | dim_plantas | Conversão para numérico |
| Espacamento_Entre_Linhas_cm | TABELA 04 - Implantacao_Agricola | Espacamento_Entre_Linhas_cm | dim_plantas | Conversão para numérico |
| Arranjo_Espacial | TABELA 04 - Implantacao_Agricola | Arranjo_Espacial | dim_plantas | Nenhuma |
| Sistema_Distribuicao | TABELA 04 - Implantacao_Agricola | Sistema_Distribuicao | dim_plantas | Nenhuma |
| Profundidade_Semeadura | TABELA 04 - Implantacao_Agricola | Profundidade_Semeadura | dim_plantas | Conversão para numérico |
| Tamanho_Semente | TABELA 05 - Tratamento de Semente | Tamanho_Semente | dim_plantas | Nenhuma |
| Vigor_Semente | TABELA 05 - Tratamento de Semente | Vigor_Semente | dim_plantas | Nenhuma |
| Germinacao_Semente | TABELA 05 - Tratamento de Semente | Germinacao_Semente | dim_plantas | Conversão para numérico |
| dim_graos | ||||
| Coletou_Graos | TABELA 09 - Inscricao_Produtor_Colheita | Coletou_Graos | dim_graos | Nenhuma |
| Peso_Mil_Graos_Afericao_Media_kg | TABELA 09 - Inscricao_Produtor_Colheita | Peso_Mil_Graos_Afericao_Media_kg | dim_graos | Conversão para numérico |
| Graos_por_Vagem_01 | TABELA 09 - Inscricao_Produtor_Colheita | Graos_por_Vagem_01 | dim_graos | Conversão para numérico |
| Graos_por_Vagem_02 | TABELA 09 - Inscricao_Produtor_Colheita | Graos_por_Vagem_02 | dim_graos | Conversão para numérico |
| Graos_por_Vagem_03 | TABELA 09 - Inscricao_Produtor_Colheita | Graos_por_Vagem_03 | dim_graos | Conversão para numérico |
| Graos_por_Vagem_04 | TABELA 09 - Inscricao_Produtor_Colheita | Graos_por_Vagem_04 | dim_graos | Conversão para numérico |
| dim_cultura_ciclo | ||||
| Ciclo_Maturacao_Cultivar | TABELA 08 - Tecnologia | Ciclo_Maturacao_Cultivar | dim_cultura_ciclo | Nenhuma |
| Procedencia_Semente | TABELA 08 - Tecnologia | Procedencia_Semente | dim_cultura_ciclo | Nenhuma |
| Fatores_Importancia_na_Escolha_do_Cultivar | TABELA 08 - Tecnologia | Fatores_Importancia_na_Escolha_do_Cultivar | dim_cultura_ciclo | Nenhuma |
| fator_01 | TABELA 08 - Tecnologia | fator_01 | dim_cultura_ciclo | Nenhuma |
| peso_fator_01 | TABELA 08 - Tecnologia | peso_fator_01 | dim_cultura_ciclo | Conversão para numérico |
| fator_02 | TABELA 08 - Tecnologia | fator_02 | dim_cultura_ciclo | Nenhuma |
| peso_fator_02 | TABELA 08 - Tecnologia | peso_fator_02 | dim_cultura_ciclo | Conversão para numérico |
| fator_03 | TABELA 08 - Tecnologia | fator_03 | dim_cultura_ciclo | Nenhuma |
| peso_fator_03 | TABELA 08 - Tecnologia | peso_fator_03 | dim_cultura_ciclo | Conversão para numérico |
| dim_custos | ||||
| Custos_Area_Audit | TABELA 10 - Inscricao_Auditoria_Colheita | Custos_Area_Audit | dim_custos | Conversão para numérico |
| Custo_Mao_de_Obra | TABELA 10 - Inscricao_Auditoria_Colheita | Custo_Mao_de_Obra | dim_custos | Conversão para numérico |
| Custo_Mecanizacao | TABELA 10 - Inscricao_Auditoria_Colheita | Custo_Mecanizacao | dim_custos | Conversão para numérico |
| Custo_Adubacao_Corretivos | TABELA 10 - Inscricao_Auditoria_Colheita | Custo_Adubacao_Corretivos | dim_custos | Conversão para numérico |
| Custo_Defensivos | TABELA 10 - Inscricao_Auditoria_Colheita | Custo_Defensivos | dim_custos | Conversão para numérico |
| Custo_Beneficiamentos | TABELA 10 - Inscricao_Auditoria_Colheita | Custo_Beneficiamentos | dim_custos | Conversão para numérico |
| Custo_Semente | TABELA 10 - Inscricao_Auditoria_Colheita | Custo_Semente | dim_custos | Conversão para numérico |
| dim_problemas_fitossanitários | ||||
| Principais_Doencas | TABELA 07 - Agroquímicos | Principais_Doencas | dim_problemas_fitossanitários | Nenhuma |
| Tipos_de_Controle_Principais_Doencas | TABELA 07 - Agroquímicos | Tipos_de_Controle_Principais_Doencas | dim_problemas_fitossanitários | Nenhuma |
| Principais_Plantas_Daninhas | TABELA 07 - Agroquímicos | Principais_Plantas_Daninhas | dim_problemas_fitossanitários | Nenhuma |
| Tipos_de_Controle_Principais_Plantas_Daninhas | TABELA 07 - Agroquímicos | Tipos_de_Controle_Principais_Plantas_Daninhas | dim_problemas_fitossanitários | Nenhuma |
| Houve_Nematoide | TABELA 07 - Agroquímicos | Houve_Nematoide | dim_problemas_fitossanitários | Nenhuma |
| Tipo_de_Nematoide | TABELA 07 - Agroquímicos | Tipo_de_Nematoide | dim_problemas_fitossanitários | Nenhuma |
| Principais_Pragas | TABELA 07 - Agroquímicos | Principais_Pragas | dim_problemas_fitossanitários | Nenhuma |
| Tipos_de_Controle_Principais_Pragas | TABELA 07 - Agroquímicos | Tipos_de_Controle_Principais_Pragas | dim_problemas_fitossanitários | Nenhuma |
| Campo Fonte | Tabela Origem | Campo DW | Tabela DW | Transformação |
|---|---|---|---|---|
| dim_tratamento_semente | ||||
| Sk_Tratamento_Semente | TABELA 05 - Tratamento de Semente | Sk_Tratamento_Semente | dim_tratamento_semente | Nenhuma |
| Id_Tratamento_Semente | TABELA 05 - Tratamento de Semente | Id_Tratamento_Semente | dim_tratamento_semente | Nenhuma |
| Tratamento_Semente | TABELA 05 - Tratamento de Semente | Tratamento_Semente | dim_tratamento_semente | Título/case consistente |
| Onde_Realizou_TS | TABELA 05 - Tratamento de Semente | Onde_Realizou_TS | dim_tratamento_semente | Título/case consistente |
| Realizou_TS | TABELA 05 - Tratamento de Semente | Realizou_TS | dim_tratamento_semente | Nenhuma |
| dim_agroquimico | ||||
| Sk_Agroquimico | TABELA 07 - Agroquímicos | Sk_Agroquimico | dim_agroquimico | Nenhuma |
| Id_Agroquimico | TABELA 07 - Agroquímicos | Id_Agroquimico | dim_agroquimico | Nenhuma |
| Nr_Aplicacao | TABELA 07 - Agroquímicos | Nr_Aplicacao | dim_agroquimico | Conversão para numérico |
| Tipo_Aplicacao | TABELA 07 - Agroquímicos | Tipo_Aplicacao | dim_agroquimico | Título/case consistente |
| Forma_Aplicacao | TABELA 07 - Agroquímicos | Forma_Aplicacao | dim_agroquimico | Título/case consistente |
| Classe_Produto | TABELA 07 - Agroquímicos | Classe_Produto | dim_agroquimico | Título/case consistente |
| Fabricante_Produto | TABELA 07 - Agroquímicos | Fabricante_Produto | dim_agroquimico | Título/case consistente |
| Produto | TABELA 07 - Agroquímicos | Produto | dim_agroquimico | Título/case consistente |
| Unidade | TABELA 07 - Agroquímicos | Unidade | dim_agroquimico | Conversão para uppercase |
| Fabricante_Agroquimico | TABELA 07 - Agroquímicos | Fabricante_Agroquimico | dim_agroquimico | Título/case consistente |
| Classe_Agroquimico | TABELA 07 - Agroquímicos | Classe_Agroquimico | dim_agroquimico | Título/case consistente |
| Nome_Agroquimico | TABELA 07 - Agroquímicos | Nome_Agroquimico | dim_agroquimico | Título/case consistente |
| DOSE | TABELA 07 - Agroquímicos | DOSE | dim_agroquimico | Conversão para numérico |
| UNIDADE | TABELA 07 - Agroquímicos | UNIDADE | dim_agroquimico | Conversão para uppercase |
| dim_adubacao | ||||
| Data_Semeadura | TABELA 04 - Implantacao_Agricola | Data_Semeadura | dim_adubacao | Conversão para formato datetime |
| Tipo_Adubacao | TABELA 06 - Adubacao | Tipo_Adubacao | dim_adubacao | Título/case consistente |
| Fabricante | TABELA 06 - Adubacao | Fabricante | dim_adubacao | Título/case consistente |
| Nome_Comercial | TABELA 06 - Adubacao | Nome_Comercial | dim_adubacao | Título/case consistente |
| PH_Calda | TABELA 06 - Adubacao | PH_Calda | dim_adubacao | Conversão para numérico |
| Volume_Calda_l_ha | TABELA 06 - Adubacao | Volume_Calda_l_ha | dim_adubacao | Conversão para numérico |
| Estadio_Fenologico | TABELA 06 - Adubacao | Estadio_Fenologico | dim_adubacao | Título/case consistente |
| Dias_Antes_Semeadura | TABELA 06 - Adubacao | Dias_Antes_Semeadura | dim_adubacao | Conversão para numérico |
| Dias_Apos_Semeadura | TABELA 06 - Adubacao | Dias_Apos_Semeadura | dim_adubacao | Conversão para numérico |
| Momento_Aplicacao | TABELA 06 - Adubacao | Momento_Aplicacao | dim_adubacao | Nenhuma |
| dim_manejo_solo | ||||
| Revolvimento_Solo | TABELA 03 - Correcao_Solo_Gessagem | Revolvimento_Solo | dim_manejo_solo | Nenhuma |
| Implemento_Utilizado | TABELA 03 - Correcao_Solo_Gessagem | Implemento_Utilizado | dim_manejo_solo | Título/case consistente |
| Profundidade_Atingida | TABELA 03 - Correcao_Solo_Gessagem | Profundidade_Atingida | dim_manejo_solo | Conversão para numérico |
| Realizou_Dessecacao | TABELA 09 - Inscricao_Produtor_Colheita | Realizou_Dessecacao | dim_manejo_solo | Nenhuma |
| Estadio_Dessecacao | TABELA 09 - Inscricao_Produtor_Colheita | Estadio_Dessecacao | dim_manejo_solo | Título/case consistente |
| Produto_Utilizado_Dessecacao | TABELA 09 - Inscricao_Produtor_Colheita | Produto_Utilizado_Dessecacao | dim_manejo_solo | Título/case consistente |
| Manejos_Utilizados | TABELA 07 - Agroquímicos | Manejos_Utilizados | dim_manejo_solo | Nenhuma |
| Periodo_Correcao | TABELA 03 - Correcao_Solo_Gessagem | Periodo_Correcao | dim_manejo_solo | Título/case consistente |
| Ano_Correcao | TABELA 03 - Correcao_Solo_Gessagem | Ano_Correcao | dim_manejo_solo | Conversão para numérico |
| Calcario | TABELA 03 - Correcao_Solo_Gessagem | Calcario | dim_manejo_solo | Nenhuma |
| Periodo_Realizacao_Gessagem | TABELA 03 - Correcao_Solo_Gessagem | Periodo_Realizacao_Gessagem | dim_manejo_solo | Título/case consistente |
| Ano_Gessagem | TABELA 03 - Correcao_Solo_Gessagem | Ano_Gessagem | dim_manejo_solo | Conversão para numérico |
| Modo_Aplic_Gesso | TABELA 03 - Correcao_Solo_Gessagem | Modo_Aplic_Gesso | dim_manejo_solo | Nenhuma |
| Campo Fonte | Tabela Origem | Campo DW | Tabela DW | Transformação |
|---|---|---|---|---|
| dim_tecnologia_agricola | ||||
| Usa_Agricultura_Precisao | TABELA 08 - Tecnologia | Usa_Agricultura_Precisao | dim_tecnologia_agricola | Nenhuma |
| Nivel_Utilizacao | TABELA 08 - Tecnologia | Nivel_Utilizacao | dim_tecnologia_agricola | Nenhuma |
| Tecnologia_Agricultura_de_Precisao | TABELA 08 - Tecnologia | Tecnologia_Agricultura_de_Precisao | dim_tecnologia_agricola | Título/case consistente |
| Potencia_Trator_CV | TABELA 04 - Implantacao_Agricola | Potencia_Trator_CV | dim_tecnologia_agricola | Conversão para numérico |
| Abertura_de_Sulco | TABELA 04 - Implantacao_Agricola | Abertura_de_Sulco | dim_tecnologia_agricola | Conversão para numérico |
| Profundidade_Fertilizante | TABELA 04 - Implantacao_Agricola | Profundidade_Fertilizante | dim_tecnologia_agricola | Conversão para numérico |
| Velocidade_Semeadura_km_ha | TABELA 04 - Implantacao_Agricola | Velocidade_Semeadura_km_ha | dim_tecnologia_agricola | Conversão para numérico |
| dim_plantadeira | ||||
| Plantadeira_Fabricante | TABELA 04 - Implantacao_Agricola | Plantadeira_Fabricante | dim_plantadeira | Título/case consistente |
| Plantadeira_Modelo | TABELA 04 - Implantacao_Agricola | Plantadeira_Modelo | dim_plantadeira | Nenhuma |
| Plantadeira_Ano | TABELA 04 - Implantacao_Agricola | Plantadeira_Ano | dim_plantadeira | Conversão para numérico |
| Abertura_Sulco | TABELA 04 - Implantacao_Agricola | Abertura_Sulco | dim_plantadeira | Conversão para numérico |
| Distribuicao_Semente | TABELA 04 - Implantacao_Agricola | Distribuicao_Semente | dim_plantadeira | Título/case consistente |
| Tem_Caixa_Adubo | TABELA 04 - Implantacao_Agricola | Tem_Caixa_Adubo | dim_plantadeira | Nenhuma |
| Utilizou_Caixa_Adubo | TABELA 04 - Implantacao_Agricola | Utilizou_Caixa_Adubo | dim_plantadeira | Nenhuma |
| dim_pulverizador | ||||
| Pulverizador_Fabricante | TABELA 07 - Agroquímicos | Pulverizador_Fabricante | dim_pulverizador | Título/case consistente |
| Pulverizador_Modelo | TABELA 07 - Agroquímicos | Pulverizador_Modelo | dim_pulverizador | Título/case consistente |
| Pulverizador_Ano | TABELA 07 - Agroquímicos | Pulverizador_Ano | dim_pulverizador | Conversão para numérico |
| Pulverizador_Comprimento_Barra_m | TABELA 07 - Agroquímicos | Pulverizador_Comprimento_Barra_m | dim_pulverizador | Conversão para numérico |
| Pulverizador_Velocidade_km_h | TABELA 07 - Agroquímicos | Pulverizador_Velocidade_km_h | dim_pulverizador | Conversão para numérico |
| Pulverizador_Volume_Tanque_L | TABELA 07 - Agroquímicos | Pulverizador_Volume_Tanque_L | dim_pulverizador | Conversão para numérico |
| Pulverizador_Bicos | TABELA 07 - Agroquímicos | Pulverizador_Bicos | dim_pulverizador | Nenhuma |
| Bico_Pulv_1 | TABELA 07 - Agroquímicos | Bico_Pulv_1 | dim_pulverizador | Nenhuma |
| Bico_Pulv_2 | TABELA 07 - Agroquímicos | Bico_Pulv_2 | dim_pulverizador | Nenhuma |
| Bico_Pulv_3 | TABELA 07 - Agroquímicos | Bico_Pulv_3 | dim_pulverizador | Nenhuma |
| dim_colhedora | ||||
| Colhedora_Fabricante | TABELA 09 - Inscricao_Produtor_Colheita | Colhedora_Fabricante | dim_colhedora | Título/case consistente |
| Colhedora_Modelo | TABELA 09 - Inscricao_Produtor_Colheita | Colhedora_Modelo | dim_colhedora | Título/case consistente |
| Colhedora_Ano | TABELA 09 - Inscricao_Produtor_Colheita | Colhedora_Ano | dim_colhedora | Conversão para numérico |
| Tipo_Plataforma | TABELA 09 - Inscricao_Produtor_Colheita | Tipo_Plataforma | dim_colhedora | Título/case consistente |
| Colhedora_Volume_Tanque_Graneleiro_L | TABELA 09 - Inscricao_Produtor_Colheita | Colhedora_Volume_Tanque_Graneleiro_L | dim_colhedora | Conversão para numérico |
| Colhedora_Largura_Plataforma_pes | TABELA 09 - Inscricao_Produtor_Colheita | Colhedora_Largura_Plataforma_pes | dim_colhedora | Conversão para numérico |
| Colhedora_Velocidade_km_h | TABELA 09 - Inscricao_Produtor_Colheita | Colhedora_Velocidade_km_h | dim_colhedora | Conversão para numérico |
O ETL (Extração, Transformação e Carregamento) será aplicado para consolidar dados das tabelas CSV em um Data Warehouse (DW) baseado em modelo estrela, composto por tabelas fato e dimensões bem definidas. O objetivo principal é garantir que os dados carregados sejam confiáveis, consistentes e prontos para análise. A escolha do modelo estrela foi realizada pela simplicidade das consultas e pelo relacionamento direto entre fatos e dimensões, facilitando agregar os indicadores-chaves.
| Etapa | Ação / Transformação | Justificativa |
|---|---|---|
| Limpeza de Dados | Remover registros com campos essenciais nulos (Inscricao, Id_Produtor, Id_Propriedade) |
Evitar inconsistência e garantir associação correta às dimensões |
| Preenchimento de campos opcionais | Campos como email_Produtor recebem valor padrão ou histórico |
Preservar informações relevantes para análises secundárias |
| Tratamento de Outliers | Ajuste ou descarte de valores fora da faixa histórica (±20% produtividade/custo, ±15% densidade) | Garantir que apenas dados confiáveis sejam carregados |
| Padronização de Datas | Data_Inscricao e Data_Ultima_Edicao → YYYY-MM-DD com timezone consistente |
Assegurar integridade temporal entre tabelas |
| Padronização de Unidades | Produtividade (kg/ha, sc/ha), custo (R$/ha), limpeza de texto (Nome_Produtor, Titulo) |
Permitir comparações diretas e evitar inconsistências textuais |
| Integração com Dimensões | Relacionar fatos (Fato_Solo, Fato_Colheita) às dimensões correspondentes |
Garantir integridade do modelo estrela e consultas consistentes |
| Deduplicação e Surrogate Keys | Remover registros redundantes; gerar Sk_Inscricao, Sk_Produtor, etc. |
Garantir unicidade e consistência referencial |
| Padronização de Categorias | Campos binários → booleanos; categorias textuais → padrão único | Facilitar análises agregadas e comparações entre tabelas |
Caso queira verificar de forma exaustiva como pretendemos estruturar o ETL em um modelo inicial focado na Extração e Transformação dos dados: Transformações ETL
Warning
Para demonstrar de forma mais visual e didática as etapas do ETL, criamos um Google Colab com o passo a passo, contendo exemplos de extração, limpeza, transformação e associação com dimensões e fatos. É importante ressaltar que este Colab não está funcional e serve apenas como referência conceitual, permitindo que a equipe visualize de maneira prática como o ETL será estruturado. A justificativa para sua inclusão é fornecer um suporte visual que auxilie na compreensão do fluxo completo do processo, mesmo sem execução real dos scripts.