Common Voice fr

Groupe de travail pour Common Voice en français

Table of Contents Canaux Processus pour Common Voice fr – DeepSpeech fr Construction du corpus de texte Contraintes Sources de données en CC0 Liens à garder pour plus tard Rajouter des phrases Annonces et articles intéressants

Canaux

• « Common Voice fr » sur Telegram pour la discussion/coordination : s'inscrire au groupe
• Ce wiki pour les instructions, documentations…

Processus pour Common Voice fr – DeepSpeech fr

C'est un processus en deux grosses étapes :

1. Construction d'un corpus de texte à faire lire, cf. les contraintes ci-dessous. 2. Contribution vocale :

     * Différents genres
     * Différents âges
     * Différentes accents

3. Une fois collecté suffisamment de variétés **et** de quantité (centaines d'heures d'audio), construction des ensembles pour l'apprentissage du modèle français.

• • Étape en cours : 1**

On essaie de construire un premier ensemble de départ, ~10k phrases de sources variées, pour lancer une langue. Soumission des textes via https://voice-sprint.mozilla.community/upload/, soit directement pour des petits volumes, soit indirectement (Pastebin, etc. dépôts git…) pour les grosses quantités. Ensuite, processus **manuel** de validation des envois pour vérifier un minimum de qualité. Pour faire partie de cette équipe de validateurs, prenez langue sur https://discourse.mozilla.org/c/voice

Construction du corpus de texte

Contraintes

• Common Voice redistribue en [CC0](https://creativecommons.org/publicdomain/zero/1.0/deed.fr "Creative Commons — CC0 1.0 universel"), il faut des corpus de texte « compatibles »
• Texte représentatif (dialogues de film, débats, théâtre)
• Différents registres de langue nécessaires
• Normalisation des nombres (chiffres romains aussi)
• **Voir `commonvoice-fr` pour du code qui normalise proprement le texte**

Sources de données en CC0

• http://data.assemblee-nationale.fr/

    * Licence ≃ CC0, avec attribution
    * Débats en XML
    * Parser qui commence à fonctionner : https://github.com/Common-Voice/commonvoice-fr
    * ~1.4M phrases, 35M mots, 110k mots uniques
    * ~40k mots importés sur Crowdin (20180511)

• https://www.gutenberg.org/

    * Licence domaine public
    * HTML, ePUB, Kindle et texte brut (UTF-8)
    * Parser qui commence à fonctionner : https://github.com/Common-Voice/commonvoice-fr
    * Premiers essais, 1 000 livres extraits au hasard sur la langue française
    * ~2.2M phrases, 42M mots, 430k mots uniques

• http://www.cuisine-libre.fr/

    * Licence domaine public
    * HTML, texte brut (UTF-8)
    * **À PARSER**

• http://libretheatre.fr/

    * Licence domaine public
    * HTML, texte brut (UTF-8)
    * Parser en cours : https://github.com/Common-Voice/commonvoice-fr

• http://www.inlibroveritas.net/

    * [Licence Art Libre – LAL 1.3](http://artlibre.org/licence/lal)
    * PDF
    * **À PARSER**

Liens à garder pour plus tard

• Corpus vocaux scientifiques en français sur [Ortolang](https://www.ortolang.fr/market/corpora?filters=%7B%22corporaType.id%22:%5B%22speech_corpora%22%5D%7D&viewMode=tile&orderProp=rank&orderDir=desc)
• http://golem13.fr/5000-films-tombes-dans-le-domaine-public-a-telecharger-gratuitement/
• https://www.apar.tv/cinema/700-films-rares-et-gratuits-disponibles-ici-et-maintenant/

Rajouter des phrases

• https://common-voice.github.io/sentence-collector/#/add

Annonces et articles intéressants

• [Haussons](https://blog.mozfr.org/post/2017/07/Haussons-la-voix-tous-ensemble-pour-le-Web-Common-Voice "Haussons la voix tous ensemble pour le Web – Common Voice - Communauté Mozilla francophone")

Traduction de l'article de Daniel Kessler du 19 juillet 2017 par la communauté Mozilla francophone

• [Mozilla](https://blog.mozfr.org/post/2017/07/Mozilla-ouvre-la-voix-reconnaissance-vocale "Mozilla ouvre la voix - Communauté Mozilla francophone")

Article de Kelly Davis du 28 juillet 2017 sur les plans de Mozilla d'ouvrir la reconnaissance vocale traduit par la communauté Mozilla francophone

• [Common](https://blog.mozilla.org/press-fr/2018/06/07/common-voice-devient-multilingue-et-senrichit-de-nouvelles-langues/ "Common Voice devient multilingue et s’enrichit de nouvelles langues – Section Presse Mozilla")

Traduction de la Section Presse de l'annonce de Mozilla du 7 juin 2018

• [La](https://www.forbes.fr/technologie/la-guerre-des-assistants-vocaux-commence-aujourdhui-en-france/)
• [Mozilla](https://www.lesechos.fr/07/03/2018/lesechos.fr/0301387403003_mozilla-veut-amplifier-son-virage-sur-les-contenus-personnalises.htm)
• [Projet](https://framablog.org/2018/12/19/projet-common-voice-pour-que-la-voix-soit-libre/) Framablog du 19 décembre 2018
• [Common](https://www.ausy.fr/fr/actualites-techniques/common-voice-arrive-en-france)

Interview

• [Common](https://www.blogdumoderateur.com/common-voice-mozilla-reconnaissance-vocale/)

Interview