Fixed typos where old sources were still mentionned in dbt models, causing an error. Removed old dbt models that was not used anymore. Added minimal documentation regarding INSEE codgeo.

Author: ThomGram

datasources.yaml

@@ -631,7 +631,7 @@ domains:
         format: json
         extract_params:
           maxResult: 10000
-          TIME_PERIOD: 2022
+          TIME_PERIOD: 2023
           GEO: ["COM"]
           POPREF_MEASURE: ["PMUN", "PTOT"]
           page: 1
@@ -694,3 +694,26 @@ domains:
           type: notebook
 
 
+      taux_pauvrete_communes:
+        API: INSEE.statistiques
+        description: |
+          Taux de pauvretés au niveau des communes par seuil
+          Millésime 2021
+        type: FileExtractor
+        endpoint: /fichier/7756855/indic-struct-distrib-revenu-2021-COMMUNES_csv.zip
+        format: zip
+        preprocessor:
+          name: unzip_load_csv_files
+          type: notebook
+
+      taux_pauvrete_supra:
+        API: INSEE.statistiques
+        description: |
+          Taux de pauvretés au niveau des arrondissements, departements, région par seuil
+          Millésime 2021
+        type: FileExtractor
+        endpoint: /fichier/7756855/indic-struct-distrib-revenu-2021-SUPRA_csv.zip
+        format: zip
+        preprocessor:
+          name: unzip_load_csv_files
+          type: notebook

dbt_odis/models/bronze/presentation_page_elus_communes.sql

@@ -22,13 +22,13 @@ select
     when type_geo = 'region' then concat('reg',code_geo)
     else code_geo
   end as codgeo,
-  extract(year from cast(rentree_scolaire || '-01-01' as date)) as "YEAR",
+  extract(year from rentree_scolaire::timestamp) as "YEAR",
   case
     when nombre_total_classes != 0 then round(nombre_total_eleves::numeric / nombre_total_classes::numeric,2)
   else null
   end as "Nombre_Moyen_Eleves_Classe",
   nombre_total_eleves as "Nombre total d'élèves",
   nombre_total_classes as "Nombre total de classes"
 from aggregation
-where rentree_scolaire ~ '^\d{4}$'
+--where rentree_scolaire ~ '^\d{4}$' -- je ne sais pas pourquoi ce filtre existe
 

dbt_odis/models/gold/education_moyenne.sql

@@ -0,0 +1,15 @@
+# Codgeos INSEE
+
+Les codgeo de l'INSEE évoluent tous les ans. En particulier, lorsque des communes sont fusionnées ou scindées, leur codgeo change.
+L'INSEE met à disposition une table de passage. Elle permet de mettre à jour les codgeo vers la nomenclature la plus récente, pour tout millésime de codgeo. 
+
+## Sources et domaines bénéficiants de la table de passage codgeo
+
+La source population Nombre de ménage a potentiellement été faite avec un ancien codgeo. On applique la table de passage sur les tables liées à cette source. 
+D'autres tables pourraient utiliser cette table de passage. Il serait util de faire un inventaire et d'implémenter les changements nécessaires.
+
+# Tests
+
+On vérifie que les codgeo soient identiques entre silver_population_menages et com_dep_reg. Ainsi, si des codgeo apparaissent ou disparaissent lorsque les codgeo sont mis à jour, il y aura une erreur. Le test exclu les COM et DROM, il semble que les données ménages ne couvrent pas ces territoires. Ce test est a appliqué à toute table utilisant la table de passage INSEE.
+
+Un second test permet de vérifier que la table de passage fonctionne avec son année nominale. Par exemple, la table de passage 2025 fonctionne sur les codgeo 2025: c'est le cas.