You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Copy file name to clipboardExpand all lines: README.md
+45-7Lines changed: 45 additions & 7 deletions
Display the source diff
Display the rich diff
Original file line number
Diff line number
Diff line change
@@ -6,17 +6,55 @@ Els resultats estan compartits a https://www.softcatala.org/la-intelligencia-art
6
6
## Estructura del projecte
7
7
8
8
```
9
-
model-eval/
10
-
├── llm/ # Avaluació de models LLM
11
-
│ ├── model.py # Pipeline d'avaluació per a un model
12
-
│ ├── run_evals.py # Orquestrador per executar múltiples models
13
-
│ └── summarize_results.py
14
-
└── asr/ # Avaluació de models ASR
15
-
└── hf-eval.py # Avaluació de WER/CER sobre FLEURS
9
+
ai-eval-catalan/
10
+
├── render_bar_charts.py # Genera gràfics de barres HTML
11
+
├── render_tables.py # Genera taules HTML de resultats
12
+
├── bar_chart_template.jinja # Plantilla per als gràfics de barres
13
+
├── llm/ # Avaluació de models LLM
14
+
│ ├── model.py # Pipeline d'avaluació per a un model
15
+
│ ├── run_evals.py # Orquestrador per executar múltiples models
16
+
│ ├── summarize_results.py # Genera el JSON i HTML de resultats
17
+
│ ├── table_template.jinja # Plantilla per a la taula de resultats
18
+
│ └── evals/ # Resultats JSON per model
19
+
├── asr/ # Avaluació de models ASR
20
+
│ ├── hf-eval.py # Avaluació de WER/CER sobre FLEURS
21
+
│ ├── run_evals.py # Orquestrador per executar múltiples models
22
+
│ ├── summarize_results.py # Genera el JSON i HTML de resultats
23
+
│ ├── table_template.jinja # Plantilla per a la taula de resultats
24
+
│ └── evals/ # Resultats JSON per model
25
+
└── mt/ # Avaluació de traducció automàtica
26
+
└── mt.py # Avaluació de models MT
16
27
```
17
28
18
29
---
19
30
31
+
## Publicació automàtica de resultats (CI/CD)
32
+
33
+
Quan es fa un push a qualsevol branca, el workflow de GitHub Actions `.github/workflows/publish-llms-json.yml` executa automàticament els passos següents:
34
+
35
+
1.**Genera els fitxers de dades** a partir dels resultats JSON individuals de `llm/evals/` i `asr/evals/`:
36
+
-`llm/summarize_results.py` → `llm/llms.json`
37
+
-`asr/summarize_results.py` → `asr/asrs.json`
38
+
39
+
2.**Genera els fitxers HTML** de taules i gràfics de barres:
0 commit comments