Add multilingual benchmarking

.github/workflows/lint.yaml

@@ -24,7 +24,7 @@ jobs:
       - uses: codespell-project/actions-codespell@v2.2
         with:
           check_hidden: false
-          skip: ./datasets/*,./reports/*,*.ipynb
+          skip: ./datasets/*,./reports/*,*.ipynb,./generation/seeds/translations-*,./**/snapshots/*
           ignore_words_list: hass
 
       - name: Run yamllint

.pre-commit-config.yaml

@@ -61,7 +61,13 @@ repos:
               datasets/homes.yaml|
               .*/snapshots/.*|
               .*/_fixtures.yaml|
-              .*/__snapshots__/.*
+              .*/__snapshots__/.*|
+              generation/seeds/translations-.*\.yaml|
+              datasets/.+-(de|es|fr|it|nl|pl|se)(/.*|\.yaml)|
+              datasets/intents/(de|es|fr|nl)/.*|
+              datasets/automations/.*/.*|
+              datasets/actions.yaml|
+              tests/datasets/snapshots/
           )$
   - repo: https://github.com/adrienverge/yamllint.git
     rev: v1.38.0

datasets/assist-de/dataset_card.yaml

@@ -0,0 +1,15 @@
+---
+name: assist-de
+language: de
+version: v2
+description: |-
+  Ein Datensatz zum Testen der Home Assistant LLM API. Die Häuser in diesem
+  Datensatz wurden synthetisch mit gpt-3.5 generiert und anschließend manuell
+  kuratiert, um die Home Assistant Intents zur Gerätesteuerung zu testen. Die
+  Sätze wurden absichtlich schwieriger gestaltet als die bestehende
+  Assistenten-NLP, um die Denkfähigkeiten größerer Modelle zu demonstrieren.
+urls:
+  - https://github.com/allenporter/home-assistant-datasets/tree/main/datasets/assist-de
+  - https://developers.home-assistant.io/blog/2024/05/20/llm-api/
+# Increase default # of runs to have lower confidence interval
+count: 5