Feat/presentation/elu (#196)

Author: ThomGram

datasources.yaml

@@ -244,11 +244,30 @@ domains:
       API: Opendatasoft
       description: Elections municipales 2020
       type: FileExtractor
-      endpoint: /catalog/datasets/election-france-municipale-2020-deuxieme-tour/exports/csv?use_labels=true
+      endpoint: /catalog/datasets/election-france-municipale-2020-premier-tour/exports/csv?use_labels=true
       format: csv
       load_params:
         separator: ;
 
+    elections_regionales:
+      API: Opendatasoft
+      description: Elus des différentes région 
+      type: FileExtractor
+      endpoint: /catalog/datasets/elections-france-regionales-2021-1er-tour-par-bureau-de-vote/exports/csv
+      format: csv
+      load_params:
+        separator: ;
+
+    elections_departementales:
+      API: data.gouv.fr
+      description: Elus des différentes départementales 
+      endpoint: /datasets/r/e9528553-a5d7-43f4-a7f5-cbc4ed1b91da
+      type: FileExtractor
+      format: xlsx
+      preprocessor:
+        name: excelfile_dfload
+        type: notebook
+
   geographical_references:
 
     regions:

dbt_odis/macros/split_last_and_first_name.sql

@@ -0,0 +1,20 @@
+{% macro split_last_and_first_name(column_name) %}
+{# This macro splits a full name in the format "LASTNAME Firstname"  #}
+{# into two separate fields: `nom` (last name) and `prenom` (first name).  #}
+{# It assumes the last name is written in uppercase letters,   #}
+{# followed by the first name in mixed case.  #}
+{# Example: "LEGRAND Jean" → nom = "LEGRAND", prenom = "Jean"  #}
+
+    (
+        (regexp_match(
+            {{ column_name }},
+            '^([[:upper:]\-\'']+(?:\s+[[:upper:]\-\'']+)*)\s+(.+)$'
+        ))[1]
+    ) AS nom,
+    (
+        (regexp_match(
+            {{ column_name }},
+            '^([[:upper:]\-\'']+(?:\s+[[:upper:]\-\'']+)*)\s+(.+)$'
+        ))[2]
+    ) AS prenom
+{% endmacro %}

dbt_odis/models/bronze/_odis_bronze__models.yml

@@ -3871,6 +3871,57 @@ models:
         description: TBD
         data_type: float
 
+  - name: presentation_elus_communes
+    description:  "Vue Bronze contenant les résultats des élections municipales, régionales et départementales avec le détail des mandats des élus et les informations géographiques associées."
+    columns:
+      - name: libelle_de_la_fonction
+        description: "Intitulé du poste ou du rôle du mandat de l'élu (ex: Maire, Conseiller municipal)."
+      - name: type_de_la_fonction
+        description: "Type de mandat ou d'élection de l'élu (Municipal, Régional, Départemental). Correspond au nom du fichier source ('filename')."
+      - name: reg_code
+        description: "Code de la région administrative (normalisé en format texte sur 2 chiffres, ex: '01', '93')."
+      - name: dep_code
+        description: "Code du département (ex: '75')."
+      - name: com_code
+        description: "Code officiel de la commune."
+
+  - name: presentation_elections_municipales
+    description: "Informations sur la nuance politique des candidats aux élections municipales"
+    columns:
+      - name: id
+      - name: code_officiel_departement
+        description: "Code officiel du département."
+      - name: nom_officiel_departement
+        description: "Nom officiel du département."
+      - name: nom_officiel_commune
+        description: "Nom officiel de la commune."
+      - name: code_nuance
+        description: "Code de la nuance politique ou du parti."
+      - name: liste
+        description: "Liste ou groupement politique."
+      - name: nom_prenom
+        description: "Nom complet du candidat."
+      - name: code_officiel_commune
+        description: "Code officiel de la commune. **Normalisé** pour les codes à 6 chiffres (DOM/TOM) en conservant les 2 premiers caractères et en omettant le 3ème (par exemple, '97101' au lieu de '97101')."
+      - name: code_officiel_region
+        description: "Code officiel de la région."
+      - name: nom_officiel_region
+        description: "Nom officiel de la région."
+      - name: created_at
+
+  - name: presentation_elections_departementales
+    description: "Informations sur la nuance politique des candidats aux élections départementales"
+
+  - name: presentation_elections_regionales
+    description: "Informations sur la nuance politique des candidats aux élections régionales"
+    columns:
+      - name: reg_code
+        description: |
+          Code officiel de la région. **Normalisé** et retravaillé selon les règles suivantes :
+          * Le code est formaté sur 2 chiffres, complété par des zéros à gauche (ex: 53 devient '53').
+          * Gestion des codes spéciaux : les codes 'ZA', 'ZB', 'ZC', 'ZD' (anciens codes DOM/TOM) sont mappés sur '01', '02', '03', '04' respectivement.
+          * Le code départemental '27' est mappé sur le code régional '28'.
+          Cette logique assure la cohérence du code région malgré les évolutions territoriales ou les codes sources spécifiques.
       - name: population_population_superficie
         description: |-
           Extraction de fichiers JSON avec données historiques population et superficie des territoires.

dbt_odis/models/bronze/_odis_bronze__sources.yml

@@ -104,6 +104,22 @@ sources:
       - name: presentation_page_elus_communes
         description: Source JSON loadée dans le champ data contenant 
         loaded_at_field: created_at
+      - name: presentation_elus_communes
+        description: Listing de tous les élus des communes françaises, avec des élus régionaux et départementaux.
+        loaded_at_field: created_at
+
+      - name: presentation_elections_municipales
+        description: Informations sur la nuance politique des candidats aux élections municipales
+        loaded_at_field: created_at
+
+      - name: presentation_elections_departementales
+        description: Informations sur la nuance politique des candidats aux élections départementales
+        loaded_at_field: created_at
+
+      - name: presentation_elections_regionales
+        description: Informations sur la nuance politique des candidats aux élections régionales
+        loaded_at_field: created_at
+
 
       - name: presentation_page_epci
         description: Source JSON loadée dans le champ data contenant 

dbt_odis/models/bronze/presentation_elections_departementales.sql

@@ -0,0 +1,9 @@
+{{ config(
+    tags = ['bronze', 'presentation','elu'],
+    alias = 'vw_presentation_elections_departementales'
+    )
+}}
+
+select
+   {{ dbt_utils.star(from=source('bronze', 'presentation_elections_departementales')) }} 
+from {{ source('bronze', 'presentation_elections_departementales') }} 

dbt_odis/models/bronze/presentation_elections_municipales.sql

@@ -0,0 +1,15 @@
+{{ config(
+    tags = ['bronze', 'presentation','elu'],
+    alias = 'vw_presentation_elections_municipales'
+    )
+}}
+
+select
+  {{ dbt_utils.star(from=source('bronze', 'presentation_elections_municipales'), 
+    except=["code_officiel_commune"]) }},
+  case 
+    when length(code_officiel_commune) > 5 
+    then left(code_officiel_commune, 2) || substring(code_officiel_commune FROM 4)
+    else code_officiel_commune
+  end as code_officiel_commune
+from {{ source('bronze', 'presentation_elections_municipales') }}

dbt_odis/models/bronze/presentation_elections_regionales.sql

@@ -0,0 +1,18 @@
+{{ config(
+    tags = ['bronze', 'presentation','elu'],
+    alias = 'vw_presentation_elections_regionales'
+    )
+}}
+
+select
+  {{ dbt_utils.star(from=source('bronze', 'presentation_elections_regionales'), 
+    except=["reg_code"]) }},
+  case
+    when dep_code = 'ZA' then '01'
+    when dep_code = 'ZB' then '02'
+    when dep_code = 'ZC' then '03'
+    when dep_code = 'ZD' then '04'
+    when dep_code = '27' then '28'
+    else lpad(trunc(reg_code::numeric)::text, 2, '0')
+  end as reg_code
+from {{ source('bronze', 'presentation_elections_regionales') }} 

dbt_odis/models/bronze/presentation_elus_communes.sql

@@ -0,0 +1,11 @@
+{{ config(
+    tags = ['bronze', 'presentation','elu'],
+    alias = 'vw_presentation_elus_communes'
+    )
+}}
+
+select
+  {{ dbt_utils.star(from=source('bronze', 'presentation_elus_communes'), 
+    except=["reg_code"]) }},
+  lpad(trunc(reg_code::numeric)::text, 2, '0')  as reg_code
+from {{ source('bronze', 'presentation_elus_communes') }}

dbt_odis/models/gold/_odis_gold__models.yml

@@ -558,6 +558,28 @@ models:
         data_type: double precision
         quote: true
 
+  - name: gold_presentation_elus
+    description: |
+      Modèle Gold de présentation final regroupant les élus (Maires, Présidents départementaux et régionaux) avec leur nuance politique.  
+      Il normalise les colonnes et crée une clé géographique unique (`codgeo`)
+    columns:
+      - name: codgeo
+        description: |
+          Code géographique normalisé servant de clé unique :
+          * Pour les **Maires** : Utilise le `com_code` (code Insee de la commune).
+          * Pour les **Présidents du conseil départemental** : Utilise le `dep_code` (code du département).
+          * Pour les **Présidents du conseil régional** : Utilise la concaténation de 'reg' et du `reg_code` (ex: 'reg84' pour l'Auvergne-Rhône-Alpes).
+      - name: prenom
+        description: "Prénom de l'élu."
+      - name: nom
+        description: "Nom de famille de l'élu."
+      - name: fonction
+        description: "Intitulé simplifié de la fonction exercée (renommé depuis `libelle_de_la_fonction`)."
+      - name: libelle
+        description: |
+          Libellé de la nuance politique de l'élu.
+          * Si la nuance est trouvée (via les jointures du modèle Silver), elle est affichée.
+          * Si la nuance est **absente** (`NULL`), elle est remplacée par la valeur 'Non connu'.
   - name: vw_population_densite
     description: Densité de population associée aux codes géographiques (communes, départements, régions), par année.
     columns:

dbt_odis/models/gold/gold_presentation_elus.sql

@@ -0,0 +1,28 @@
+{{ config(
+    tags = ['gold', 'presentation','elu'],
+    alias = 'gold_presentation_elus'
+    )
+}}
+
+with renommage as (
+    select
+        case
+            when libelle_de_la_fonction = 'Maire' 
+                then com_code
+            when libelle_de_la_fonction = 'Président du conseil départemental' 
+                then dep_code 
+            when libelle_de_la_fonction = 'Président du conseil régional' 
+                then concat('reg', reg_code)
+        end as codgeo,
+        prenom_de_l_elu as prenom,
+        nom_de_l_elu as nom,
+        libelle_de_la_fonction as fonction,
+        case
+            when libelle_nuance is null
+                then 'Non connu'
+            else libelle_nuance
+        end as libelle
+    from {{ ref ("silver_presentation_elus") }} 
+)
+
+select * from renommage