Merge branch 'main' into fixes-for-pristine-install

Author: ThomGram

.github/workflows/pre-commit-tests.yaml

@@ -37,4 +37,4 @@ jobs:
         poetry run pytest -v
     - name: Verify tests results
       if: ${{ failure() }}
-      run: exit 1
+      run: exit 1

datasources.yaml

@@ -269,7 +269,7 @@ domains:
       API: GEO.api.gouv.fr
       description: Référentiel géographique GEO - niveau commune
       type: JsonExtractor
-      endpoint: /communes?fields=code,nom,population,departement,region,centre
+      endpoint: /communes?fields=code,nom,population,departement,region,centre,epci
       format: json
 
     arrondissements:
@@ -296,6 +296,15 @@ domains:
         name: excelfile_dfload
         type: notebook
 
+    geocodes_passage_annuel:
+      API: Opendatasoft
+      description: Table de passage annuelle 2025, équivalence codes géographiques 2025 et année précédente d'établissement de codes (2023)
+      type: FileExtractor
+      endpoint: /catalog/datasets/georef-france-matching-code/exports/csv?use_labels=true
+      format: csv
+      load_params:
+        separator: ;
+
   accueil:
 
     cada_cph_huda:
@@ -550,7 +559,6 @@ domains:
 
   population:
 
-
       by_age:
         API: INSEE.Melodi
         description: Répartition de la population par tranches d'âge
@@ -568,42 +576,21 @@ domains:
 
       by_age_gender:
         API: INSEE.Melodi
-        description: Répartition de la population par tranches d'âge et par genre (M/F, Cis/Trans)
+        description: Répartition de la population par tranches d'âge et par genre
         type: MelodiExtractor
-        endpoint: /data/DS_ESTIMATION_POPULATION # Dataset des estimations de population de l'INSEE
+        endpoint: /data/DS_RP_POPULATION_PRINC # recensement données principales
         format: json
         extract_params:
           maxResult: 10000
-          SEX:
-            - M # Hommes (all)
-            - M_cis # Hommes cis
-            - F # Femmes (all)
-            - F_cis # Femmes cis
-            - TS # Personnes Trans
-            - _Z # 'Non Applicable' 
-          EP_MEASURE: POP # Prendre uniquement la mesure de population
+          TIME_PERIOD: 2022
+          SEX: ["M", "F", "_T"]
+          GEO: ["COM", "DEP", "REG"]
+          RP_MEASURE: POP
         response_map:
           data: observations
           next: paging.next
           is_last: paging.isLast
 
-      # repartition_sexe_age:
-      #   API: INSEE.Melodi
-      #   description: repartition de la population par sexe et par tranche d'age
-      #   type: MelodiExtractor
-      #   endpoint: /data/DS_RP_POPULATION_PRINC
-      #   format: json
-      #   extract_params:
-      #     maxResult: 10000
-      #     TIME_PERIOD: 2021
-      #     GEO: ["COM","DEP","REG"]
-      #     SEX: ["F","M"]
-      #     AGE: ["Y_LT15","Y15T24","Y25T39","Y40T54","Y55T64","Y65T79","Y_GE80"]
-      #   response_map:
-      #     data: observations
-      #     next: paging.next
-      #     is_last: paging.isLast
-      
       population_superficie:
         API: INSEE.Melodi
         description: recuperation de la population et de la superficie pour calcul de densite
@@ -612,15 +599,31 @@ domains:
         format: json
         extract_params:
           maxResult: 10000
-          startPeriod: "2009-01-01"
-          endPeriod: "2025-10-01"
+          TIME_PERIOD: 2022
           GEO: ["COM","DEP","REG"]
           RP_MEASURE: ["POP","SUP"]
           OCS: "_T"
         response_map:
           data: observations
           next: paging.next
           is_last: paging.isLast
+
+      population_totale:
+        API: INSEE.Melodi
+        description: recuperation des populations communale et totale des communes
+        type: MelodiExtractor
+        endpoint: /data/DS_POPULATIONS_REFERENCE
+        format: json
+        extract_params:
+          maxResult: 10000
+          TIME_PERIOD: 2022
+          GEO: ["COM"]
+          POPREF_MEASURE: ["PMUN", "PTOT"]
+          page: 1
+        response_map:
+          data: observations
+          next: paging.next
+          is_last: paging.isLast
 
       categorie_socio_pro:
         API: INSEE.Melodi
@@ -630,13 +633,12 @@ domains:
         format: json
         extract_params:
           maxResult: 10000
-          startPeriod: "2009-01-01"
-          endPeriod: "2025-10-01"
+          TIME_PERIOD: 2022
           GEO: ["COM","DEP","REG"]
           SEX: "_T"
           RP_MEASURE: "POP"
-          AGE: "Y_GE15"
-          PCS: ["1","2","3","4","5","6","7","9"]
+          AGE: "Y_GE15" # 15 years old or more
+          PCS: ["1", "2", "3", "4", "5", "6", "7", "9", "_T"] # 8 was excluded (students), added it back just in case
         response_map:
           data: observations
           next: paging.next

dbt_odis/models/bronze/_odis_bronze__models.yml

@@ -1101,6 +1101,12 @@ models:
       - name: geo_coordonnees_longitude
         description: Coordonnées longitudinales, string pour données en -01.00
         data_type: text
+      - name: epci_code
+        description: Code de l'EPCI rattaché à la commune
+        data_type: integer
+      - name: epci_nom
+        description: Nom de l'EPCI rattaché à la commune
+        data_type: integer
       - name: created_at
         description: date d'extraction des données
         data_type: timestamp without time zone
@@ -1209,6 +1215,25 @@ models:
         description: date d'extraction des données
         data_type: timestamp without time zone
 
+      - name: vw_geographical_references_geocodes_passage_annuel
+        description: Extraction du CSV avec l'équivalence des codes géographiques depuis la dernière année d'établissement des codes.
+        columns:
+          - name: geocode_year
+            description: Année la plus récente d'établissement des codes géographiques
+            data_type: text
+          - name: geocode_type
+            description: Type de code géographique ("COM", "ARM", "REG", etc.).
+            data_type: text
+          - name: geocode_type_name
+            description: Description de code géographique ("commune", "arrondisseent municipal", etc.).
+            data_type: text
+          - name: old_geocode
+            description: Ancien code géographique, à l'année d'établissement précédent la plus récente.
+            data_type: text
+          - name: geocode
+            description: Code géographique courant, à l'année d'établissement la plus récente.
+            data_type: text
+
   # Logement
   - name: logements_appartement
     description: Extraction du JSON source logement nombre d'appartements par zone géographique
@@ -3699,37 +3724,56 @@ models:
   - name: presentation_page_elus_communes
 
   - name: presentation_page_epci
+    description: Extraction du JSON source geographical_references_epcis
+    columns:
+      - name: nom
+        description: Nom de l'EPCI
+        data_type: text
+      - name: code
+        description: Code SIREN de l'EPCI
+        data_type: integer
+        tests:
+          - unique
+      - name: population
+        description: Population totale regroupée en vigueur selon le dernier recensement INSEE
+        data_type: integer
+      - name: codesRegions
+        description: Code de la région associée
+        data_type: integer
+      - name: codesDepartements
+        description: Code du département associé
+        data_type: integer
 
   - name: presentation_page_population_communes
 
+  # Population
   - name: population_categorie_socio_pro
     description: Extraction du JSON source CSP par population
     columns:
-      - name: dimension_age
+      - name: age
         description: Segmentation âge
-        data_type: integer
-      - name: dimensions_geo
-        description: "Clé primaire unique d'identification : Année de mesure - Type de zone géographique - Code INSEE (COM = 5 chiffres) ou Code postal (DEP = 3 chiffres et REG = 2 chiffres)"
         data_type: text
-        tests:
-          - not_null
-      - name: dimensions_pcs
-        description: _
+      - name: geo
+        description: |-
+          Union année code - type de code - code géographique.
+          e.g. 2025-COM-01001.
+          L'année correspond à l'année de définition du code géographique par l'insee.
         data_type: text
-      - name: dimensions_sex
-        description: _
+      - name: pcs
+        description: catégorie socio-professionnelle (de 1 à 9, 8 - étudiants non renseigné en 2022).
         data_type: text
-      - name: dimensions_rp_measure
+      - name: sex
         description: _
         data_type: text
-      - name: dimensions_time_period
-        description: Période temporelle en année de mesure de la donnée
+      - name: rp_measure
+        description: Indicateur d'intérêt.
         data_type: text
-      - name: measures_obs_value_niveau_value
-        description: nombre mesuré du type d'habitation = appartement par zone géographique et par année
+      - name: time_period
+        description: Période ou point dans le temps auquel l'observation se réfère effectivement.
+        data_type: text
+      - name: measure_value
+        description: Valeur de l'indicateur d'intérêt.
         data_type: text
-
-  # Population
 
   - name: population_by_age
     description: Répartition de la population par tranches d'âge
@@ -3769,33 +3813,27 @@ models:
       - name: id
         description: index
         data_type: integer
-      - name: dimensions_GEO
-        description: unité géographique (REG, DEP, COM)
-        data_type: text
-      - name: dimensions_SEX
+      - name: geo
         description: |-
-          Filtre par genre (H/F et cis/trans).
-          _T = total tout confondu
-          H = Homme (all)
-          F = Femme (all)
-          H_cis = Homme cis
-          F_cis = Femme cis
-          TS = Personne trans
+          Union année code - type de code - code géographique.
+          e.g. 2025-COM-01001.
+          L'année correspond à l'année de définition du code géographique par l'insee.
         data_type: text
-      - name: dimensions_AGE
-        description: filtre par âge
+      - name: sex
+        description: _
         data_type: text
-      - name: dimensions_TIME_PERIOD
-        description: Période temporelle (millésime) de la donnée
+      - name: age
+        description: tranche d'âge.
         data_type: text
-      - name: dimensions_EP_MEASURE
-        description: |-
-          Type de mesure.
-          POP = effectif de population
+      - name: rp_measure
+        description: Indicateur d'intérêt.
+        data_type: text
+      - name: time_period
+        description: Période ou point dans le temps auquel l'observation se réfère effectivement.
+        data_type: text
+      - name: measure_value
+        description: Valeur de l'indicateur d'intérêt.
         data_type: text
-      - name: measures_OBS_VALUE_NIVEAU_value
-        description: valeur numérique
-        data_type: integer
       - name: created_at
         description: date d'extraction de la donnée
         data_type: timestamp without time zone
@@ -3812,7 +3850,7 @@ models:
       - name: nivgeo
         description: |-
           Niveau de granularité géographique.
-          Pour ce dateset, une seul valeur possible :
+          Pour ce dateset, une seule valeur possible :
           COM = Commune
         data_type: text
       - name: codgeo
@@ -3832,3 +3870,35 @@ models:
       - name: nb
         description: TBD
         data_type: float
+
+      - name: population_population_superficie
+        description: |-
+          Extraction de fichiers JSON avec données historiques population et superficie des territoires.
+        columns:
+          - name: id
+            description: index
+            data_type: integer
+          - name: geo
+            description: |-
+              Union année code - type de code - code géographique.
+              e.g. 2025-COM-01001.
+              L'année correspond à l'année de définition du code géographique par l'insee.
+            data_type: text
+          - name: ocs
+            description: |-
+              Catégorie du logement (seulement "_T", pour total).
+            data_type: text
+          - name: freq
+            description: Intervalle de temps séparant deux observations.
+            data_type: integer
+          - name: rp_measure
+            description: Indicateur d'intérêt.
+            data_type: text
+          - name: time_period
+            description: |-
+              Période ou point dans le temps auquel l'observation se réfère effectivement.
+            data_type: text
+          - name: measure_value
+            description: |-
+              Valeur de l'indicateur d'intérêt.
+            data_type: text