Ja-Ref-L4 is a Japanese translation of the Ref-L4 dataset, a benchmark for referring expression comprehension (REC). This translation is designed to replace the original English captions in Ref-L4 for evaluating Japanese performance in REC tasks. The translation was generated using PLaMo Translation Model, developed by our company, Preferred Networks Inc. For details on translation, please refer to a blog post (in Japanese). Please note that this Japanese translation is an unofficial version of Ref-L4 translated independently by Preferred Networks, Inc. In cases where discrepancies exist between this translation and the original text, the original text takes precedence.
Ja-Ref-L4 は参照表現理解（Referring Expression Comprehension, REC）のベンチマークの一つである Ref-L4 の日本語翻訳版です。日本語の参照表現理解（REC）の性能を評価するために Ref-L4 のキャプションを本日本語翻訳版に置き換えて利用することを想定しています。翻訳には弊社（株式会社Preferred Networks）が開発しているPLaMo翻訳モデルを利用しました。翻訳の詳細についてはブログ記事「自律稼働デバイス向け高精度軽量VLM「PLaMo 2.1-8B-VL」─日本語VQA・Visual Grounding評価と翻訳」の「ベンチマーク（Ref-L4の日本語翻訳）」セクションをご参照ください。なお、本日本語翻訳版は、株式会社Preferred Networksが独自に翻訳を行った、Ref-L4の非公式な翻訳です。本翻訳と原文に相違がある場合、原文の内容が優先されます。
The following was verified to work with Python 3.12.3.
下記は Python 3.12.3 を用いて動作確認しています。
- Download this repository
git clone https://github.com/pfnet-research/Ja-Ref-L4
cd Ja-Ref-L4
- Download the original Ref-L4
git clone https://huggingface.co/datasets/JierunChen/Ref-L4
- Install required packages
pip install -r requirements.txt
- Create the dataset
python create-dataset.py
The original Ref-L4 directory and the output directory can be specified by options --ref-l4-dir and --outdir, respectively.
By default, the dataset directory Ja-Ref-L4 is created under the current working directory. The created Ja-Ref-L4 can be used for evaluations in the same manner as the original Ref-L4.
An example of evaluation results is shown in the table below.
評価結果の例を下の表に示します。
| Model | Ref-L4 (Original) | Ja-Ref-L4 |
|---|---|---|
| PLaMo 2.1-8B-VL (tentative) (Evaluated on Feb. 27th, 2026) |
87.39 | 86.49 |
| Qwen/Qwen2.5-VL-7B-Instruct | 83.06 | 76.89 |
| Qwen/Qwen3-VL-8B-Instruct | 84.14 | 80.63 |
Ja-Ref-L4 is released under the Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) license. Please note that the Ref-L4 dataset and the images in the Ref-L4 dataset are licensed according to their respective licenses (refer to the License section of the Ref-L4 dataset for details).
Ja-Ref-L4 は Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) license の下で公開されています。なお、Ref-L4 や Ref-L4 で利用されている画像はそれぞれのライセンスに基づいていることにご注意ください（詳細は Ref-L4 のライセンスセクションをご参照下さい）。
The translation process is carefully tuned to maintain fidelity to the original text. However, the captions in Ref-L4 intentionally contain many long, complex sentences and noun phrases with diverse expressions, making translation particularly challenging. Therefore, please note that not all captions are guaranteed to be accurately translated, and we kindly ask for your understanding in advance.
翻訳に際してはなるべく原文に忠実に翻訳されるようチューニングを行っています。しかし、Ref-L4 のキャプションには意図的に長く複雑で多様な表現を持つ文や名詞句が多く採用されているため、翻訳が困難なキャプションも多く含まれています。そのため、必ずしも全てのキャプションが正しく翻訳されているとは限らないことをあらかじめご了承ください。
This Japanese translation is created under the project "GENIAC (Generative AI Accelerator Challenge)", implemented by the Ministry of Economy, Trade and Industry (METI) and the New Energy and Industrial Technology Development Organization (NEDO), with the aim of strengthening Japan’s development capabilities in generative AI.
本日本語翻訳版の作成は、経済産業省及び国立研究開発法人新エネルギー‧産業技術総合開発機構（NEDO）が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。