Feat/161 epci 2 (#195)

Author: ThomGram

.github/workflows/pre-commit-tests.yaml

@@ -37,4 +37,4 @@ jobs:
         poetry run pytest -v
     - name: Verify tests results
       if: ${{ failure() }}
-      run: exit 1
+      run: exit 1

datasources.yaml

@@ -269,7 +269,7 @@ domains:
       API: GEO.api.gouv.fr
       description: Référentiel géographique GEO - niveau commune
       type: JsonExtractor
-      endpoint: /communes?fields=code,nom,population,departement,region,centre
+      endpoint: /communes?fields=code,nom,population,departement,region,centre,epci
       format: json
 
     arrondissements:
@@ -607,6 +607,23 @@ domains:
           data: observations
           next: paging.next
           is_last: paging.isLast
+
+      population_totale:
+        API: INSEE.Melodi
+        description: recuperation des populations communale et totale des communes
+        type: MelodiExtractor
+        endpoint: /data/DS_POPULATIONS_REFERENCE
+        format: json
+        extract_params:
+          maxResult: 10000
+          TIME_PERIOD: 2022
+          GEO: ["COM"]
+          POPREF_MEASURE: ["PMUN", "PTOT"]
+          page: 1
+        response_map:
+          data: observations
+          next: paging.next
+          is_last: paging.isLast
 
       categorie_socio_pro:
         API: INSEE.Melodi

dbt_odis/models/bronze/_odis_bronze__models.yml

@@ -1101,6 +1101,12 @@ models:
       - name: geo_coordonnees_longitude
         description: Coordonnées longitudinales, string pour données en -01.00
         data_type: text
+      - name: epci_code
+        description: Code de l'EPCI rattaché à la commune
+        data_type: integer
+      - name: epci_nom
+        description: Nom de l'EPCI rattaché à la commune
+        data_type: integer
       - name: created_at
         description: date d'extraction des données
         data_type: timestamp without time zone
@@ -3718,6 +3724,25 @@ models:
   - name: presentation_page_elus_communes
 
   - name: presentation_page_epci
+    description: Extraction du JSON source geographical_references_epcis
+    columns:
+      - name: nom
+        description: Nom de l'EPCI
+        data_type: text
+      - name: code
+        description: Code SIREN de l'EPCI
+        data_type: integer
+        tests:
+          - unique
+      - name: population
+        description: Population totale regroupée en vigueur selon le dernier recensement INSEE
+        data_type: integer
+      - name: codesRegions
+        description: Code de la région associée
+        data_type: integer
+      - name: codesDepartements
+        description: Code du département associé
+        data_type: integer
 
   - name: presentation_page_population_communes
 

dbt_odis/models/bronze/_odis_bronze__sources.yml

@@ -19,7 +19,7 @@ sources:
       - name: geographical_references_intercommunalites
         description: Source xlsx loadée dans le champ data contenant les références des intercommunalites
 
-      - name: geographical_references_epci
+      - name: geographical_references_epcis
         description: Source JSON loadée dans le champ data contenant les références des EPCI
         loaded_at_field: created_at
 
@@ -133,6 +133,14 @@ sources:
         description: feuille xlsx transformée en CSV contenant toutes les données des logements des bailleurs sociaux (appelées Répertoire des logements locatifs des bailleurs sociaux ou RPLS) déclinées par régions
         loaded_at_field : created_at
 
+      - name: population_population_totale
+        description: Source JSON loadée dans le champ data 
+        loaded_at_field: created_at
+
+      - name: population_categorie_socio_pro
+        description: Source JSON loadée dans le champ data 
+        loaded_at_field: created_at
+
       - name: population_by_age
         description: Source JSON - Estimation de population INSEE par âge
         loaded_at_field: created_at

dbt_odis/models/bronze/geographical_references_communes.sql

@@ -18,7 +18,9 @@ with communes as
         (data::jsonb) -> 'region' ->> 'code' as region_code,
         (data::jsonb) -> 'departement' ->> 'nom' as departement_nom,
         (data::jsonb) -> 'departement' ->> 'code' as departement_code,
-        (data::jsonb) -> 'population' as population,        
+        ((data::jsonb) -> 'population' ->> 0)::int as population,
+        (data::jsonb) -> 'epci' ->> 'code' as epci_code,
+        (data::jsonb) -> 'epci' ->> 'nom' as epci_nom,
         created_at
     from {{ source('bronze', 'geographical_references_communes') }} 
 )

dbt_odis/models/bronze/geographical_references_epcis.sql

@@ -0,0 +1,9 @@
+{{ config(
+    tags = ['bronze', 'geographical', 'epci'],
+    alias='vw_geographical_references_epcis'
+    )
+}}
+
+select 
+    {{ dbt_utils.star(from=source('bronze', 'geographical_references_epcis')) }}
+from {{ source('bronze', 'geographical_references_epcis') }}

dbt_odis/models/bronze/population_totale.sql

@@ -0,0 +1,13 @@
+{{ config(
+    tags = ['bronze', 'population'],
+    alias = 'vw_population_totale'
+    )
+}}
+
+SELECT
+	(data::jsonb)->'dimensions'->>'GEO'::VARCHAR AS geo,
+    (data::jsonb)->'dimensions'->>'FREQ'::VARCHAR AS freq,
+    ((data::jsonb)->'dimensions'->'TIME_PERIOD'->>0)::INTEGER AS time_period,
+    (data::jsonb)->'dimensions'->>'POPREF_MEASURE'::VARCHAR AS popref_measure,
+	((data::jsonb)->'measures'->'OBS_VALUE_NIVEAU'->'value'->>0)::DECIMAL AS value      
+FROM {{ source('bronze', 'population_population_totale') }} 

dbt_odis/models/bronze/presentation_page_epci.sql

@@ -4,6 +4,12 @@
     )
 }}
 
-select 
-    {{ dbt_utils.star(from=source('bronze', 'presentation_page_epci')) }}
-from {{ source('bronze', 'presentation_page_epci') }} 
+SELECT
+    data->'nom'::text AS nom,
+    -- (data::jsonb)->'nom'::text AS nom,
+    (data::jsonb)->'code'->>0::int AS code,
+    (data::jsonb)->'population'->>0::int AS population,
+    (data::jsonb)->'codesRegions'->>0 AS codesRegions,
+    (data::jsonb)->'codesDepartements'->>0 AS codesDepartements,
+    created_at
+FROM {{ ref('geographical_references_epcis') }}

dbt_odis/models/gold/_odis_gold__models.yml

@@ -484,6 +484,32 @@ models:
       - name: POP15P_CS9
         description: population totale 15 ans et plus,  autres inactifs (CS9).
         data_type: numeric
+        
+  - name: gold_presentation_page_epci
+    description: Population totale et municipale, et nombre de membres par EPCI et code INSEE des communes rattachées
+    columns:
+      - name: codgeo
+        description: "Clé primaire unique d'identification : Code INSEE (COM = 5 chiffres) de la commune rattachée à l'EPCI"
+        data_type: text
+      - name: raison_sociale
+        description: "Raison sociale de l'EPCI"
+        data_type: text
+      - name: nb_membres
+        description: "Nombre de communes rattachées à l'EPCI"
+        data_type: integer
+      - name: total_pop_tot
+        description: "Population totale de l'EPCI (Somme de population municipale et population comptée à part - Ex : étudiants résidant hors commune mais rattachés administrativement)"
+        data_type: integer 
+      - name: total_pop_mun
+        description: "Population municipale de l'EPCI"
+        data_type: integer 
+      - name: ptot_derniere_annee
+        description: "Population totale de la commune à la dernière année connue (Somme de population municipale et population comptée à part)"
+        data_type: integer 
+      - name: pmun_derniere_annee
+        description: "Population municipale de la commune à la dernière année connue"
+        data_type: integer       
+
 
   - name: gold_services
     description: Table recensant les nombres de services identifiés d'une zone géographique identifiée

dbt_odis/models/gold/gold_presentation_page_epci.sql

@@ -0,0 +1,8 @@
+{{ config(
+    tags = ['gold', 'homepage'],
+    alias = 'gold_presentation_page_epci'
+) }}
+
+SELECT
+    *
+FROM {{ ref('silver_presentation_page_epci') }}