new version of llm_judge notebook

Author: lbourdois

notebooks/fr/llm_judge.ipynb

@@ -4,7 +4,7 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "# Utilisation d'un LLM juge 🧑‍⚖️ pour une évaluation automatisée et polyvalente \n",
+    "# Utilisation d'un *LLM-as-judge* 🧑‍⚖️ pour une évaluation automatisée et polyvalente \n",
     "_Auteur : [Aymeric Roucher](https://huggingface.co/m-ric)_  \n",
     "_Traducteur : [Loïck Bourdois](https://hf.co/lbourdois)_\n",
     "\n",
@@ -16,14 +16,14 @@
     "- incohérent\n",
     "- ...\n",
     "\n",
-    "La liste des critères est encore longue. Et même si nous disposions d'une liste limitée, chacun d'entre eux serait difficile à mesurer : « concevoir un programme basé sur des règles pour évaluer les sorties est extrêmement difficile. Les mesures d'évaluation traditionnelles basées sur la similarité entre les résultats et les réponses de référence (par exemple, ROUGE, BLEU) sont également inefficaces pour ces questions. »\n",
+    "La liste des critères est encore longue. Et même si nous disposions d'une liste limitée, chacun d'entre eux serait difficile à mesurer : « concevoir un programme basé sur des règles pour évaluer les sorties est extrêmement difficile. Les mesures d'évaluation traditionnelles basées sur la similarité entre les résultats et les réponses de référence (par exemple, [ROUGE](https://hf.co/spaces/evaluate-metric/rouge), [BLEU](https://hf.co/spaces/evaluate-metric/bleu)) sont également inefficaces pour ces questions. »\n",
     "\n",
-    "✅ Une solution puissante pour évaluer les sorties d'une manière humaine, sans nécessiter de temps humain coûteux, est l'utilisation d'un LLM juge.\n",
+    "✅ Une solution puissante pour évaluer les sorties d'une manière humaine, sans nécessiter de temps humain coûteux, est l'utilisation d'un *LLM-as-judge*, c'est-à-dire d'un second modèle pour juger les sorties du premier modèle.\n",
     "Cette méthode a été présentée dans [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://huggingface.co/papers/2306.05685) que je vous encourage à lire.\n",
     "\n",
     "💡 L'idée est simple : demander à un LLM de faire la notation à votre place. 🤖✓ \n",
     "\n",
-    "Mais nous verrons que cela ne fonctionne pas en étant prêt à l'emploi : il faut le paramétrer avec soin pour obtenir de bons résultats."
+    "Mais nous verrons qu'il n'est pas prêt à l'emploi : il faut le paramétrer avec soin pour obtenir de bons résultats."
    ]
   },
   {
@@ -88,21 +88,21 @@
     "Notons qu'on interragit en anglais avec ce modèle car nous utilisons ci-dessous un jeu de données en anglais. En pratique, le `Mixtral-8x7B-Instruct-v0.1` serait utilisable pour du français.\n",
     "\n",
     "\n",
-    "## 1. Préparer la création et l'évaluation de notre LLM juge\n",
+    "## 1. Préparer la création et l'évaluation de notre juge\n",
     "\n",
     "Supposons que vous souhaitiez confier à un LLM une tâche spécifique, comme répondre à des questions ouvertes.\n",
     "\n",
-    "Le problème est que, comme nous l'avons vu plus haut, il est difficile de mesurer la qualité de la réponse. Par exemple, une correspondance exacte de la chaîne de caractères signalera comme fausses un trop grand nombre de réponses correctes mais formulées différemment.\n",
+    "La difficulté réside dans le fait que, comme nous l'avons vu plus haut, il est difficile de mesurer la qualité de la réponse. Par exemple, une correspondance exacte signalera comme fausses un trop grand nombre de réponses correctes mais formulées différemment.\n",
     "\n",
-    "Vous pourriez demander à des étiqueteurs humains d'évaluer les résultats, mais cela leur prendrait beaucoup de temps, et si vous voulez mettre à jour le modèle ou les questions, vous devriez tout recommencer.\n",
+    "Vous pourriez demander à des humains d'évaluer les résultats, mais cela leur prendrait beaucoup de temps, et si vous voulez mettre à jour le modèle ou les questions, vous devriez tout recommencer.\n",
     "\n",
     "\n",
-    "✅ Dans ce cas, vous pouvez configurer un LLM en tant que juge.\n",
+    "✅ Dans ce cas, vous pouvez configurer un juge.\n",
     "\n",
     "**Mais pour en utiliser un, vous devrez d'abord évaluer la fiabilité avec laquelle il évalue les résultats de votre modèle.**\n",
     "\n",
     "➡️ La première étape sera donc... de créer un jeu de données d'évaluation par des humains. Quelques exemples d'annotations humaines, une trentaine seulement, devraient suffire pour se faire une bonne idée des performances du modèle.\n",
-    "Vous pourrez réutiliser ce jeu de données chaque fois que vous voudrez tester votre LLM juge.\n",
+    "Vous pourrez réutiliser ce jeu de données chaque fois que vous voudrez tester votre juge.\n",
     "\n",
     "Dans notre cas, nous utiliserons [`feedbackQA`](https://huggingface.co/datasets/McGill-NLP/feedbackQA), qui contient 2 évaluations humaines et des scores pour chaque couple question/réponse. L'utilisation d'un échantillon de 30 exemples sera représentative de ce que votre petit jeu de données d'évaluation pourrait être."
    ]
@@ -334,8 +334,8 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 2. Créer notre LLM juge\n",
-    "Nous construisons notre LLM juge avec un prompt de base, contenant ces éléments :\n",
+    "## 2. Créer notre juge\n",
+    "Nous construisons notre juge avec un prompt de base, contenant ces éléments :\n",
     "- description de la tâche\n",
     "- description de l'échelle : `minimum`, `maximum`, types de valeurs (ici `float`)\n",
     "- explication du format de sortie\n",
@@ -466,13 +466,13 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 3. Améliorer le LLM juge\n",
+    "## 3. Améliorer le juge\n",
     "\n",
-    "Comme montré par [Aparna Dhinakaran](https://twitter.com/aparnadhinak/status/1748368364395721128), les LLMs sont nuls pour évaluer les sorties dans des plages continues.\n",
+    "Comme montré par [Aparna Dhinakaran](https://twitter.com/aparnadhinak/status/1748368364395721128), les LLMs sont mauvais pour évaluer les sorties dans des plages continues.\n",
     "[Cet article](https://www.databricks.com/blog/LLM-auto-eval-best-practices-RAG) nous donne quelques bonnes pratiques pour construire un meilleur prompt :\n",
-    "- ⏳ **Laisser plus de temps pour la réflexion** en ajoutant un champ `Evaluation` avant la réponse finale.\n",
-    "- 🔢 **Utiliser une petite échelle de nombres entiers** comme 1-4 ou 1-5 au lieu d'une grande échelle de nombres flottants comme nous l'avions auparavant.\n",
-    "- 👩‍🏫 **Fournir une échelle indicative à des fins d'orientation**.\n",
+    "- ⏳ **Laisser plus de temps au juge pour la réflexion** en ajoutant un champ `Evaluation` avant la réponse finale.\n",
+    "- 🔢 **Utiliser une plage de nombres entiers pour les notes possibles** comme 1-4 ou 1-5 au lieu d'une grande plage de nombres flottants comme nous l'avions auparavant.\n",
+    "- 👩‍🏫 **Fournir des indications sur la valeur des notes pour guider le juge dans ses notations**.\n",
     "- Nous ajoutons même une carotte pour motiver le LLM !"
    ]
   },
@@ -593,7 +593,7 @@
     "\n",
     "Impressionnant ! 👏\n",
     "\n",
-    "Affichons quelques erreurs de notre juge LLM pour les analyser :"
+    "Affichons quelques erreurs de notre juge pour les analyser :"
    ]
   },
   {
@@ -730,13 +730,13 @@
    "source": [
     "Les désaccords sont mineurs : globalement, nous semblons avoir atteint un bon niveau de performance pour notre système !\n",
     "\n",
-    "## 4. Comment pousser notre LLM juge encore plus loin ?\n",
+    "## 4. Comment aller encore plus loin avec notre juge ?\n",
     "\n",
     "🎯 **Vous n'atteindrez jamais 100%**  \n",
-    "Notons d'abord que notre vérité de base humaine a certainement du bruit, donc l'accord/corrélation n'ira jamais jusqu'à 100% même avec un juge LLM parfait.\n",
+    "Notons d'abord que notre vérité de base humaine a certainement du bruit, donc l'accord/corrélation n'ira jamais jusqu'à 100% même avec un juge parfait.\n",
     "\n",
     "🧭 **Fournir une référence**  \n",
-    "Si vous aviez accès à une réponse de référence pour chaque question, vous devriez certainement la donner au juge LLM dans son prompt pour obtenir de meilleurs résultats !\n",
+    "Si vous aviez accès à une réponse de référence pour chaque question, vous devriez certainement la donner au juge dans son prompt pour obtenir de meilleurs résultats !\n",
     "\n",
     "▶️ **Fournir des exemples de *few-shot***  \n",
     "L'ajout de quelques exemples de questions et d'évaluations de vérité de base dans le prompt peut améliorer les résultats.  \n",
@@ -768,7 +768,7 @@
     "\n",
     "**Implémentation d'une génération structurée**\n",
     "\n",
-    "En utilisant la **génération structurée**, vous pouvez configurer le LLM juge pour qu'il fournisse directement sa sortie sous forme de JSON avec les champs `Evaluation` et `Total rating`, ce qui facilite le parsing : consultez notre [recette sur le sujet](structured_generation) pour en savoir plus !\n",
+    "En utilisant la **génération structurée**, vous pouvez configurer le juge pour qu'il fournisse directement sa sortie sous forme de JSON avec les champs `Evaluation` et `Total rating`, ce qui facilite le parsing : consultez notre [recette sur le sujet](structured_generation) pour en savoir plus !\n",
     "\n",
     "## Conclusion\n",
     "\n",