Skip to content

Commit a758e9b

Browse files
committed
First configuration of dbt project with seeds
1 parent daf8e9e commit a758e9b

File tree

13 files changed

+512984
-29
lines changed

13 files changed

+512984
-29
lines changed

data/README.md

Lines changed: 9 additions & 23 deletions
Original file line numberDiff line numberDiff line change
@@ -1,30 +1,16 @@
11
# Architecture
22

3-
Le contenu de ce dossier permet de générer les données utilisées par le rendu final.
3+
Ce dossier est destiné à l'équipe data : pour explorer la donnée disponible, ainsi que générer la base de donnée finale, qui sera utilisée par l'équipe web.
44

5-
Ces données sont générées grâce à un projet DBT.
5+
Il est divisé comme suit :
66

7-
# DBT
7+
## Dossier /exploration
88

9-
## Documentation
9+
Contient tout ce qui relève de l'exploration de donnée.
10+
Import de la donnée, différents notebooks etc
11+
Voir le readme : ./exploration/README.md
1012

11-
Pour visualiser le contenu du projet dbt (table et process), lancer les commandes suivantes depuis le dossier dbt (`cd data/dbt`)
13+
## Dossier /dbt_build_web_data
1214

13-
```bash
14-
uv run dbt docs generate
15-
uv run dbt docs serve
16-
```
17-
18-
L'interface est alors disponible sur votre http://localhost:8080/
19-
20-
# WIP - Liste des data utilisées / disponibles
21-
22-
## Données assurance
23-
24-
(dossier /Gaspar) Base GASPAR publiée sur DataGouv : https://www.data.gouv.fr/datasets/base-nationale-de-gestion-assistee-des-procedures-administratives-relatives-aux-risques-gaspar/
25-
26-
(TODO) Arrêtés Cat Nat (dont cat nat non reconnues) : https://www.ccr.fr/portail-catastrophes-naturelles/liste-arretes/
27-
28-
## Données socio/demo
29-
30-
(submodule /13_odis) Repo du projet Odis saison 13 de D4G, données collectées listées dans le fichier datasources.yaml
15+
C'est un projet dbt, dont l'ouput final est la base de donnée pour le projet web.
16+
Voir le readme : ./dbt_build_web_data/README.md

data/dbt_build_web_data/.gitignore

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -2,3 +2,5 @@
22
target/
33
dbt_packages/
44
logs/
5+
6+
dev.duckdb

data/dbt_build_web_data/README.md

Lines changed: 13 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -1,13 +1,20 @@
1-
Welcome to your new dbt project!
1+
### Run the projet
22

3-
### Using the starter project
3+
- uv run dbt seed
4+
- uv run dbt run
45

5-
Try running the following commands:
6-
- dbt run
7-
- dbt test
6+
Then open the output with duckdb (`duckdb --ui dev.duckdb`, see ../README.md for duckdb cli installation)
87

8+
### Tests
99

10-
### Resources:
10+
- un run dbt test
11+
12+
### Open the doc
13+
14+
- uv run dbt docs generate
15+
- uv run dbt docs serve
16+
17+
### Resources
1118
- Learn more about dbt [in the docs](https://docs.getdbt.com/docs/introduction)
1219
- Check out [Discourse](https://discourse.getdbt.com/) for commonly asked questions and answers
1320
- Join the [chat](https://community.getdbt.com/) on Slack for live discussions and support

data/dbt_build_web_data/dbt_project.yml

Lines changed: 7 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -34,3 +34,10 @@ models:
3434
# Config indicated by + and applies to all files under models/example/
3535
example:
3636
+materialized: view
37+
38+
seeds:
39+
dbt_build_web_data:
40+
+enabled: true
41+
+delimiter: ";"
42+
43+
azi_gaspar:

data/dbt_build_web_data/seeds/azi_gaspar.csv

Lines changed: 18865 additions & 0 deletions
Large diffs are not rendered by default.

data/dbt_build_web_data/seeds/catnat_gaspar.csv

Lines changed: 260800 additions & 0 deletions
Large diffs are not rendered by default.

0 commit comments

Comments
 (0)