Feat/nb_menages

datasources.yaml

@@ -315,14 +315,6 @@ domains:
         name: excelfile_dfload
         type: notebook
 
-    geocodes_passage_annuel:
-      API: Opendatasoft
-      description: Table de passage annuelle 2025, équivalence codes géographiques 2025 et année précédente d'établissement de codes (2023)
-      type: FileExtractor
-      endpoint: /catalog/datasets/georef-france-matching-code/exports/csv?use_labels=true
-      format: csv
-      load_params:
-        separator: ;
 
   accueil:
 

dbt_odis/models/bronze/_odis_bronze__models.yml

@@ -1215,24 +1215,6 @@ models:
         description: date d'extraction des données
         data_type: timestamp without time zone
 
-      - name: vw_geographical_references_geocodes_passage_annuel
-        description: Extraction du CSV avec l'équivalence des codes géographiques depuis la dernière année d'établissement des codes.
-        columns:
-          - name: geocode_year
-            description: Année la plus récente d'établissement des codes géographiques
-            data_type: text
-          - name: geocode_type
-            description: Type de code géographique ("COM", "ARM", "REG", etc.).
-            data_type: text
-          - name: geocode_type_name
-            description: Description de code géographique ("commune", "arrondisseent municipal", etc.).
-            data_type: text
-          - name: old_geocode
-            description: Ancien code géographique, à l'année d'établissement précédent la plus récente.
-            data_type: text
-          - name: geocode
-            description: Code géographique courant, à l'année d'établissement la plus récente.
-            data_type: text
 
   # Logement
   - name: logements_appartement
@@ -3838,37 +3820,38 @@ models:
         description: date d'extraction de la donnée
         data_type: timestamp without time zone
 
-  - name: population_menages_2021
+  - name: vw_population_nb_menages
     description: |-
       Extraction du fichier CSV "MEN1" fourni par l'INSEE. Millésime 2021.
       Taille ( = nb d'occupants) de chaque ménage par commune,
       et par la catégorie socioprofessionnelle de la personne de référence.
     columns:
-      - name: id
+      - name: index
         description: index
         data_type: integer
-      - name: nivgeo
+      - name: NIVGEO
         description: |-
           Niveau de granularité géographique.
           Pour ce dateset, une seule valeur possible :
           COM = Commune
         data_type: text
-      - name: codgeo
+      - name: CODGEO
         description: |-
           Code d'identification géographique.
-          En l'occurrence, code postal de la commune
+          En l'occurrence, code commune
         data_type: text
-      - name: bpe_measure
-        description: FACILITIES = services
+      - name: LIBGEO
+        description: Libellé de la commune
         data_type: text
-      - name: nbperc
-        description: Taille du foyer (nombre de personnes)
+      - name: NPERC
+        description: |-
+          Taille du foyer (en nombre de personnes entre 1 et 6+)
         data_type: integer
-      - name: cs2_24
+      - name: CS2_24
         description: CSP générale de la personne de référence du ménage
         data_type: text
-      - name: nb
-        description: TBD
+      - name: NB
+        description: Nombre de foyers dans la ville
         data_type: float
 
   - name: presentation_elus_communes

dbt_odis/models/bronze/_odis_bronze__sources.yml

@@ -27,9 +27,6 @@ sources:
         description: Source JSON loadée dans le champ data contenant les références des arrondissements
         loaded_at_field: created_at
 
-      - name: geographical_references_geocodes_passage_annuel
-        description: Table de passage annuelle 2025, équivalence codes géographiques 2025 et année précédente d'établissement de codes (2023)
-        loaded_at_field: created_at
 
       - name: emploi_eff_secteur_prive_gds_secteurs
         description: Source CSV contenant les Effectifs salariés du secteur privé par grands secteurs
@@ -146,7 +143,7 @@ sources:
         loaded_at_field : created_at
 
       - name: population_population_totale
-        description: Source JSON loadée dans le champ data
+        description: Source JSON loadée dans le champ data 
         loaded_at_field: created_at
 
       - name: population_by_age

dbt_odis/models/bronze/population_menages_2021.sql

@@ -1,9 +1,16 @@
 {{ config(
     tags = ['bronze', 'population'],
-    alias='vw_population_menages_2021'
+    alias='vw_population_nb_menages'
     )
 }}
 
-select 
-    {{ dbt_utils.star(from=source('bronze', 'population_menages_td_men1_2021')) }}
-from {{ source('bronze', 'population_menages_td_men1_2021') }}
+{% set local_year = '2021' %}
+
+with population_nb_menages as 
+(
+    select {{ dbt_utils.star(from=source('bronze', 'population_menages_td_men1_2021')) }},
+    '{{ local_year }}' as "year"
+    from {{ source('bronze', 'population_menages_td_men1_2021') }}
+)
+
+select * from population_nb_menages

dbt_odis/models/gold/_odis_gold__models.yml

@@ -592,6 +592,26 @@ models:
       - name: densite
         description: densité de population, nombre d'habitants au kilomètre carré.
         data_type: numeric
+
+
+  - name: gold_population_nb_menages
+    description: Table contenant le nombre de ménages et le nombre moyen d'occupants par ménage à tous les niveaux géographiques (commune, département, région). Union des tables silver_population_menages, silver_population_menages_departement et silver_population_menages_region.
+    columns:
+      - name: codgeo
+        description: Code géographique selon le niveau (Code INSEE commune, Code département, ou 'reg' + Code région)
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans la zone géographique
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans la zone géographique
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (COM pour commune, DEP pour département, REG pour région)
+        data_type: text
   - name: gold_presentation_population_communes
     description: |
       Table contenant le nombre d'habitants par communes. Les grandes villes sont considérées à l'échelle de la commune, pas de l'arrondissement.
@@ -607,4 +627,4 @@ models:
         data_type: float
       - name: year
         description: Année de la mesure
-        data_type: integer
+        data_type: integer

dbt_odis/models/gold/_odis_gold__sources.yml

@@ -58,4 +58,12 @@ sources:
       - name: vw_population_population_superficie_stg
         description: Table contenant population et superficie par code géographique et année.
         loaded_at_field: created_at
+
+      - name: silver_population_menages
+        description: donnees nombre de menages insee nettoyees - commune
+
+      - name: silver_population_menages_region
+        description: donnees nombre de menages insee nettoyees - region
 
+      - name: silver_population_menages_departement
+        description: donnees nombre de menages insee nettoyees - departement

dbt_odis/models/gold/gold_population_nb_menages.sql

@@ -0,0 +1,10 @@
+{{ config(
+    tags = ['gold', 'population', 'nb_menages'],
+    )
+}}
+
+select * from {{ref('silver_population_menages')}}
+union all
+select * from {{ref('silver_population_menages_departement')}}
+union all
+select * from {{ref('silver_population_menages_region')}}

dbt_odis/models/silver/_odis_silver__models.yml

@@ -1280,3 +1280,60 @@ models:
         data_type: integer
       - name: superficie
         description: Superficie en hectares.
+
+  - name: silver_population_menages
+    description: Table nettoyée contenant le nombre de ménages et le nombre moyen d'occupants par ménage, agrégés par commune. Les codes géographiques sont mis à jour avec la table de passage annuelle (seed geocodes_passage_annuel) pour correspondre aux codes géographiques les plus récents.
+    columns:
+      - name: codgeo
+        description: Code INSEE de la commune
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans la commune
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans la commune
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (COM pour commune)
+        data_type: text
+
+  - name: silver_population_menages_departement
+    description: Table agrégée contenant le nombre de ménages et le nombre moyen d'occupants par ménage au niveau département. Les données communales sont agrégées en utilisant le modèle de référence géographique com_dep_reg.
+    columns:
+      - name: codgeo
+        description: Code INSEE du département
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans le département (somme des ménages des communes)
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans le département (moyenne pondérée par le nombre de ménages)
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (DEP pour département)
+        data_type: text
+
+  - name: silver_population_menages_region
+    description: Table agrégée contenant le nombre de ménages et le nombre moyen d'occupants par ménage au niveau région. Les données communales sont agrégées en utilisant le modèle de référence géographique com_dep_reg.
+    columns:
+      - name: codgeo
+        description: Code INSEE de la région, préfixé par 'reg' (ex. 'reg84' pour Auvergne-Rhône-Alpes)
+        data_type: text
+      - name: year
+        description: Année de référence des données du recensement
+        data_type: numeric
+      - name: nb_menages
+        description: Nombre total de ménages dans la région (somme des ménages des communes)
+        data_type: numeric
+      - name: nb_occ_moyen
+        description: Nombre moyen d'occupants par ménage dans la région (moyenne pondérée par le nombre de ménages)
+        data_type: numeric
+      - name: niveau_geo
+        description: Niveau géographique (REG pour région)
+        data_type: text

dbt_odis/models/silver/_odis_silver__sources.yml

@@ -23,9 +23,6 @@ sources:
         description: View contenant les informations de références des arrondissements
         loaded_at_field: created_at
 
-      - name: vw_geographical_references_geocodes_passage_annuel
-        description: View de passage annuelle 2025, équivalence codes géographiques 2025 et année précédente d'établissement de codes (2023)
-        loaded_at_field: created_at
 
       - name: vw_education_moyenne_eleve_commune
         description: View contenant
@@ -123,6 +120,9 @@ sources:
         description: Vue contenant la population par tranche d'âge et genre.
         loaded_at_field: created_at
 
+      - name: vw_population_nb_menages
+        description: View contenant
+
       - name: vw_population_categorie_socio_pro
         description: Vue contenant la population associée aux différentes catégories socio-professionnelles.
         loaded_at_field: created_at      

dbt_odis/models/silver/silver_population_menages.sql

@@ -0,0 +1,22 @@
+{{ config(
+    tags = ['silver', 'population'],
+    alias='silver_population_menages'
+    )
+}}
+
+with population_nb_menages as (
+    select
+        coalesce(passage."Code Courant Officiel", pop."CODGEO") as codgeo,
+        pop.year,
+        SUM(pop."NB") as nb_menages,
+        SUM(pop."NPERC" * pop."NB") / nullif(SUM(pop."NB"),0) as nb_occ_Moyen,
+        'COM' as niveau_geo
+    from {{ ref('population_menages_2021') }} pop
+    left join {{ ref('geocodes_passage_annuel') }} passage
+        on pop."CODGEO" = passage."Ancien Code Officiel"
+        and passage."Niveau" = 'COM'
+    where pop."NIVGEO" = 'COM'
+    group by coalesce(passage."Code Courant Officiel", pop."CODGEO"), pop.year
+)
+
+select * from population_nb_menages

dbt_odis/models/silver/silver_population_menages_departement.sql

@@ -0,0 +1,20 @@
+{{ config(
+    tags = ['silver', 'population'],
+    alias='silver_population_menages_departement'
+    )
+}}
+
+with population_nb_menages_dept as (
+    select
+        geo."CODDEP" as codgeo,
+        year,
+        SUM(pop."NB") as nb_menages,
+        SUM(pop."NPERC" * pop."NB") / nullif(SUM(pop."NB"),0) as nb_occ_Moyen,
+        'DEP' as niveau_geo
+    from {{ ref('population_menages_2021') }} pop
+    inner join {{ ref('com_dep_reg') }} geo on pop."CODGEO" = geo."CODGEO"
+    where pop."NIVGEO" = 'COM'
+    group by geo."CODDEP", year
+)
+
+select * from population_nb_menages_dept

dbt_odis/models/silver/silver_population_menages_region.sql

@@ -0,0 +1,20 @@
+{{ config(
+    tags = ['silver', 'population'],
+    alias='silver_population_menages_region'
+    )
+}}
+
+with population_nb_menages_reg as (
+    select
+        'reg' || geo."CODREG" as codgeo,
+        year,
+        SUM(pop."NB") as nb_menages,
+        SUM(pop."NPERC" * pop."NB") / nullif(SUM(pop."NB"),0) as nb_occ_Moyen,
+        'REG' as niveau_geo
+    from {{ ref('population_menages_2021') }} pop
+    inner join {{ ref('com_dep_reg') }} geo on pop."CODGEO" = geo."CODGEO"
+    where pop."NIVGEO" = 'COM'
+    group by geo."CODREG", year
+)
+
+select * from population_nb_menages_reg