reasonspeech-dataset: "Unknown error in flac decoder" in index 58004

[chamakkon]

huggingfaceのdisscussionが閉じていたのでこちらに失礼します。

huggingfaceに公開されているreason-speechの学習データセットを使用させていただいています。
smallをload_datasetよりダウンロードしたのですが、58004目の要素が参照するだけでエラーを出すようになっており、前処理時に必ずエラーになります。

ds = load_dataset("reason-research/reasonspeech", "small", trust_remote_code=True, use_auth_token="xxx")
ds["train"][58004]    #←ここでエラー "Unknown error in flac decoder"

smallはこれを取り除けば使用できそうなのですが、今後mediumやlargeなどのデータセットを使わせていただきたく上で同様の事象が発生するindexと原因を確認していただけますでしょうか。

取り除くべきindexを洗い出したいただくだけでもありがたいです。

[gunyarakun]

@chamakkon
返信おくれました。
ご指摘のとおり、データセットを作成するときに利用したライブラリに問題があり、いくつかのflacファイルが壊れていることが確認されています。
現時点では手元には壊れているindexの一覧がないため、お手数ですがindexを特定して取り除いて利用をお願いいたします。（誰かがindexを提供してくれるのもwelcomeです）

[convergence-lab]

large の 壊れている flac ファイルの index です。すべての index について走査し、exceptionを出すものをリスト化しました。HuggingFace Dataset の filter などでフィルタリングアウトしてください。

https://discuss.huggingface.co/t/filtering-dataset/10228

[58004, 63395, 63985, 78951, 93300, 130310, 161169, 173246, 175445, 185486, 200863, 245053, 280142, 296078, 322958, 339853, 366286, 366809, 390750, 399449, 411890, 415049, 424354, 448711, 449293, 456099, 507278, 554517, 555476, 564981, 567723, 603498, 624363, 624759, 644391, 649664, 654851, 659235, 666664, 732034, 732743, 743671, 862643, 869181, 896890, 902479, 935969, 994920, 999071, 1005644, 1013247, 1014500, 1037939, 1049402, 1052227, 1052421, 1081033, 1114847, 1117900, 1120107, 1145660, 1166804, 1168238, 1172156, 1229232, 1252177, 1270615, 1278540, 1291482, 1309042, 1355274, 1378800, 1457339, 1463737, 1466494, 1471972, 1475091, 1477155, 1482933, 1489699, 1499951, 1583826, 1593749, 1610932, 1623869, 1635258, 1670580, 1734255, 1741816, 1757700, 1777590, 1820274, 1878925, 1887364, 1958400, 1962761, 1984632, 1996877, 2008457, 2009691, 2031898, 2031958, 2032622, 2039395, 2042342, 2066544, 2075757, 2084250, 2086982, 2090010, 2102603, 2111002, 2113295, 2147977, 2163700, 2204456, 2226713, 2371438, 2378429, 2386662, 2403723, 2423521, 2431492, 2493391, 2500278, 2502963, 2534999, 2536009, 2555658, 2566113, 2610878, 2623886, 2652698, 2682999, 2688362, 2693676, 2751017, 2772814, 2843674, 2873048, 2910354, 2916020, 2919949, 2922762, 2939267, 2948237, 2953768, 2964234, 3007096, 3016226, 3022937, 3028240, 3030662, 3032250, 3038590, 3038994, 3052153, 3073036]

[yuta0306]

破損ファイルのコンパイルありがとうございます！！

現在stableとなっているdatasetsは4.0.0であり、これはtorchcodecというライブラリをaudioバックエンドとして使用するようになっています。torchcodec自体はffmpegを使用します。これにより、現在破損している（とみなされている）flacファイルを読み込めるようになります。

datasets<4.0.0までは、soundfileで読み込むため、flacが多少破損していると、音声が全くデコードできないというのがこれまでの現象だと思われます。

ただし、datasets==4.0.0では別のissue (#64)のため、データセットのダウンロードができません。そのため、ワークアラウンドとして、以下の手順で破損ファイルも読み込むことができるはずです。

1. datasets==3.6.0を使い、load_datasetを叩き、cacheにダウンロードする
2. datasets==4.0.0 (with torchcodec)を使い、再度load_datasetを叩く
   • この時、cacheから読み込まれるため、Issue datasets.load_dataset("reazon-research/reazonspeech") shows an error for dataset scripts with datasets >= 4 #64 は発生しない
3. load_dataset("reazon-research/reazonspeech", "small", split="train")[58004]["audio"].get_all_samples().dataで音声の読み込み成功が確認できる

もちろん根本的には、破損を修正する、もしくはdatasets==4.0.0におけるissueを修正するべきなのですが、
取り急ぎの対応ではこちらのワークアラウンドもご活用ください。