Feat/nb_menages

datasources.yaml

@@ -298,7 +298,7 @@ domains:
 
     geocodes_passage_annuel:
       API: Opendatasoft
-      description: Table de passage annuelle 2025, équivalence codes géographiques 2025 et année précédente d'établissement de codes (2023)
+      description: Table de passage annuelle 2025, équivalence codes géographiques 2025 et années précédentes d'établissement de codes depuis 2003
       type: FileExtractor
       endpoint: /catalog/datasets/georef-france-matching-code/exports/csv?use_labels=true
       format: csv

dbt_odis/models/bronze/_odis_bronze__models.yml

@@ -3838,37 +3838,38 @@ models:
         description: date d'extraction de la donnée
         data_type: timestamp without time zone
 
-  - name: population_menages_2021
+  - name: vw_population_nb_menages
     description: |-
       Extraction du fichier CSV "MEN1" fourni par l'INSEE. Millésime 2021.
       Taille ( = nb d'occupants) de chaque ménage par commune,
       et par la catégorie socioprofessionnelle de la personne de référence.
     columns:
-      - name: id
+      - name: index
         description: index
         data_type: integer
-      - name: nivgeo
+      - name: NIVGEO
         description: |-
           Niveau de granularité géographique.
           Pour ce dateset, une seule valeur possible :
           COM = Commune
         data_type: text
-      - name: codgeo
+      - name: CODGEO
         description: |-
           Code d'identification géographique.
-          En l'occurrence, code postal de la commune
+          En l'occurrence, code commune
         data_type: text
-      - name: bpe_measure
-        description: FACILITIES = services
+      - name: LIBGEO
+        description: Libellé de la commune
         data_type: text
-      - name: nbperc
-        description: Taille du foyer (nombre de personnes)
+      - name: NPERC
+        description: |-
+          Taille du foyer (en nombre de personnes entre 1 et 6+)
         data_type: integer
-      - name: cs2_24
+      - name: CS2_24
         description: CSP générale de la personne de référence du ménage
         data_type: text
-      - name: nb
-        description: TBD
+      - name: NB
+        description: Nombre de foyers dans la ville
         data_type: float
 
       - name: population_population_superficie

dbt_odis/models/bronze/_odis_bronze__sources.yml

@@ -137,10 +137,6 @@ sources:
         description: Source JSON loadée dans le champ data 
         loaded_at_field: created_at
 
-      - name: population_categorie_socio_pro
-        description: Source JSON loadée dans le champ data 
-        loaded_at_field: created_at
-
       - name: population_by_age
         description: Source JSON - Estimation de population INSEE par âge
         loaded_at_field: created_at

dbt_odis/models/bronze/population_menages_2021.sql

@@ -1,9 +1,16 @@
 {{ config(
     tags = ['bronze', 'population'],
-    alias='vw_population_menages_2021'
+    alias='vw_population_nb_menages'
     )
 }}
 
-select 
-    {{ dbt_utils.star(from=source('bronze', 'population_menages_td_men1_2021')) }}
-from {{ source('bronze', 'population_menages_td_men1_2021') }}
+{% set local_year = '2021' %}
+
+with population_nb_menages as 
+(
+    select {{ dbt_utils.star(from=source('bronze', 'population_menages_td_men1_2021')) }},
+    '{{ local_year }}' as "year"
+    from {{ source('bronze', 'population_menages_td_men1_2021') }}
+)
+
+select * from population_nb_menages

dbt_odis/models/gold/_odis_gold__models.yml

@@ -570,3 +570,23 @@ models:
       - name: densite
         description: densité de population, nombre d'habitants au kilomètre carré.
         data_type: numeric
+
+
+  - name: gold_population_nb_menages
+    description: Table contenant le nombre de ménages et le nombre moyen d'occupants par ménage à tous les niveaux géographiques (commune, département, région). Union des tables silver_population_menages, silver_population_menages_departement et silver_population_menages_region.
+    columns:
+      - name: codgeo
+        description: Code géographique selon le niveau (Code INSEE commune, Code département, ou 'reg' + Code région)
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans la zone géographique
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans la zone géographique
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (COM pour commune, DEP pour département, REG pour région)
+        data_type: text

dbt_odis/models/gold/_odis_gold__sources.yml

@@ -58,4 +58,12 @@ sources:
       - name: vw_population_population_superficie_stg
         description: Table contenant population et superficie par code géographique et année.
         loaded_at_field: created_at
+
+      - name: silver_population_menages
+        description: donnees nombre de menages insee nettoyees - commune
+
+      - name: silver_population_menages_region
+        description: donnees nombre de menages insee nettoyees - region
 
+      - name: silver_population_menages_departement
+        description: donnees nombre de menages insee nettoyees - departement

dbt_odis/models/gold/gold_population_nb_menages.sql

@@ -0,0 +1,10 @@
+{{ config(
+    tags = ['gold', 'population', 'nb_menages'],
+    )
+}}
+
+select * from {{ref('silver_population_menages')}}
+union all
+select * from {{ref('silver_population_menages_departement')}}
+union all
+select * from {{ref('silver_population_menages_region')}}

dbt_odis/models/silver/_odis_silver__models.yml

@@ -1177,4 +1177,63 @@ models:
         description: Population en nombre d'habitants.
         data_type: integer
       - name: superficie
-        description: Superficie en hectares.
+        description: Superficie en hectares.
+
+
+
+  - name: silver_population_menages
+    description: Table nettoyée contenant le nombre de ménages et le nombre moyen d'occupants par ménage, agrégés par commune. Les codes géographiques sont mis à jour avec la table de passage annuelle (seed geocodes_passage_annuel) pour correspondre aux codes géographiques les plus récents.
+    columns:
+      - name: codgeo
+        description: Code INSEE de la commune
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans la commune
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans la commune
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (COM pour commune)
+        data_type: text
+
+  - name: silver_population_menages_departement
+    description: Table agrégée contenant le nombre de ménages et le nombre moyen d'occupants par ménage au niveau département. Les données communales sont agrégées en utilisant le modèle de référence géographique com_dep_reg.
+    columns:
+      - name: codgeo
+        description: Code INSEE du département
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans le département (somme des ménages des communes)
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans le département (moyenne pondérée par le nombre de ménages)
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (DEP pour département)
+        data_type: text
+
+  - name: silver_population_menages_region
+    description: Table agrégée contenant le nombre de ménages et le nombre moyen d'occupants par ménage au niveau région. Les données communales sont agrégées en utilisant le modèle de référence géographique com_dep_reg.
+    columns:
+      - name: codgeo
+        description: Code INSEE de la région, préfixé par 'reg' (ex. 'reg84' pour Auvergne-Rhône-Alpes)
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans la région (somme des ménages des communes)
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans la région (moyenne pondérée par le nombre de ménages)
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (REG pour région)
+        data_type: text

dbt_odis/models/silver/_odis_silver__sources.yml

@@ -123,6 +123,9 @@ sources:
         description: Vue contenant la population par tranche d'âge et genre.
         loaded_at_field: created_at
 
+      - name: vw_population_nb_menages
+        description: View contenant
+
       - name: vw_population_categorie_socio_pro
         description: Vue contenant la population associée aux différentes catégories socio-professionnelles.
         loaded_at_field: created_at      

dbt_odis/models/silver/silver_population_menages.sql

@@ -0,0 +1,22 @@
+{{ config(
+    tags = ['silver', 'population'],
+    alias='silver_population_menages'
+    )
+}}
+
+with population_nb_menages as (
+    select
+        coalesce(passage."Code Courant Officiel", pop."CODGEO") as codgeo,
+        pop.year,
+        SUM(pop."NB") as nb_menages,
+        SUM(pop."NPERC" * pop."NB") / nullif(SUM(pop."NB"),0) as nb_occ_Moyen,
+        'COM' as niveau_geo
+    from {{ ref('population_menages_2021') }} pop
+    left join {{ ref('geocodes_passage_annuel') }} passage
+        on pop."CODGEO" = passage."Ancien Code Officiel"
+        and passage."Niveau" = 'COM'
+    where pop."NIVGEO" = 'COM'
+    group by coalesce(passage."Code Courant Officiel", pop."CODGEO"), pop.year
+)
+
+select * from population_nb_menages

dbt_odis/models/silver/silver_population_menages_departement.sql

@@ -0,0 +1,20 @@
+{{ config(
+    tags = ['silver', 'population'],
+    alias='silver_population_menages_departement'
+    )
+}}
+
+with population_nb_menages_dept as (
+    select
+        geo."CODDEP" as codgeo,
+        year,
+        SUM(pop."NB") as nb_menages,
+        SUM(pop."NPERC" * pop."NB") / nullif(SUM(pop."NB"),0) as nb_occ_Moyen,
+        'DEP' as niveau_geo
+    from {{ ref('population_menages_2021') }} pop
+    inner join {{ ref('com_dep_reg') }} geo on pop."CODGEO" = geo."CODGEO"
+    where pop."NIVGEO" = 'COM'
+    group by geo."CODDEP", year
+)
+
+select * from population_nb_menages_dept

dbt_odis/models/silver/silver_population_menages_region.sql

@@ -0,0 +1,20 @@
+{{ config(
+    tags = ['silver', 'population'],
+    alias='silver_population_menages_region'
+    )
+}}
+
+with population_nb_menages_reg as (
+    select
+        'reg' || geo."CODREG" as codgeo,
+        year,
+        SUM(pop."NB") as nb_menages,
+        SUM(pop."NPERC" * pop."NB") / nullif(SUM(pop."NB"),0) as nb_occ_Moyen,
+        'REG' as niveau_geo
+    from {{ ref('population_menages_2021') }} pop
+    inner join {{ ref('com_dep_reg') }} geo on pop."CODGEO" = geo."CODGEO"
+    where pop."NIVGEO" = 'COM'
+    group by geo."CODREG", year
+)
+
+select * from population_nb_menages_reg

dbt_odis/seeds/_odis_bronze__seeds.yml

@@ -40,7 +40,7 @@ seeds:
   - name: Intitulés_FAP2021
     description: "Correspondance des codes FAP Métiers et FAP secteurs avec leurs intitulés"
     config:
-      quote_columns: true 
+      quote_columns: true
       delimiter: ';'
       column_types:
         Code_FAP341: text
@@ -50,4 +50,16 @@ seeds:
         Code_FAP86: text
         Intitulé_FAP86: text
         Code_FAP22: text
-        Intitulé_FAP22: text
+        Intitulé_FAP22: text
+
+  - name: geocodes_passage_annuel
+    description: "Table de passage annuelle 2025, équivalence codes géographiques 2025 et année précédente d'établissement de codes (2023)"
+    config:
+      quote_columns: true
+      delimiter: ';'
+      column_types:
+        Année: text
+        Niveau: text
+        Type: text
+        Ancien Code Officiel: text
+        Code Courant Officiel: text