You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Copy file name to clipboardExpand all lines: 2025-02-25_stack_data_gard.md
-6Lines changed: 0 additions & 6 deletions
Display the source diff
Display the rich diff
Original file line number
Diff line number
Diff line change
@@ -30,7 +30,6 @@ tags:
30
30
Le département du Gard dispose de plusieurs compétences parmi lesquelles l'aide sociale et l'infrastructure routière. Il entretient et améliore un réseau de 4 600 km de routes afin de sécuriser les déplacements.
31
31
L’éducation fait également partie de ses missions, notamment à travers la gestion de 53 collèges publics. À cela s’ajoutent d’autres domaines importants comme la culture et les archives départementales.
32
32
33
-
34
33
Dans chacun de ces domaines, une grande quantité de données est produite et consommée, c'est ce patrimoine de données que le département souhaite valoriser pour notamment aider les directions et services à prendre les décisions éclairées dans l'exercice de leurs missions.
35
34
36
35
Auparavant, les analyses se faisaient plutôt dans des silos métiers mais aussi des silos techniques avec une séparation BI/SIG. Or, le croisement de données de natures et de sources diverses peut apporter de l'information.
@@ -100,7 +99,6 @@ Voici le principe de la stack simplifié au travers d'un schéma :
100
99
101
100
{: .img-center loading=lazy }
102
101
103
-
104
102
---
105
103
106
104
### Les outils
@@ -162,12 +160,10 @@ Voici un extrait de lignage avec les données sources en vert, la donnée finale
162
160
163
161
{: .img-center loading=lazy }
164
162
165
-
166
163
Documenter les données est aussi une possibilité que nous offre le logiciel.
167
164
168
165
{: .img-center loading=lazy }
169
166
170
-
171
167
Pour aller plus loin, je te conseille vivement la [playlist DBT](https://www.youtube.com/watch?v=5rNquRnNb4E&list=PLy4OcwImJzBLJzLYxpxaPUmCWp8j1esvT), toujours de Michael Kahan qui est une excellente source d'apprentissage et qui te détaillera bien plus les spécificités du logiciel que moi.
172
168
173
169
---
@@ -180,7 +176,6 @@ Apache Airflow est [l'orchestrateur](https://www.redhat.com/fr/topics/automation
180
176
181
177
Dans Airflow, les tâches sont définies et organisées dans ce qu’on appelle un DAG (Directed Acyclic Graph), une structure qui permet de représenter les relations et l’ordre d’exécution des tâches. Ces tâches sont créées à l'aide de scripts Python (car Airflow est écrit en Python)
182
178
183
-
184
179
Et donc Airflow nous permet de :
185
180
186
181
- définir les tâches en Python,
@@ -192,7 +187,6 @@ Tu peux trouver ci-dessous une représentation graphique des différentes dépen
192
187
193
188
{: .img-center loading=lazy }
0 commit comments