PaddleOCR-VL测评精度更正

[changdazhou]

您好，

非常感谢贵团队在该项目中的付出和努力。最近，我们注意到您对 PaddleOCR-VL 的评估指标与我们实测精度存在一些不一致的地方。经过我们的分析评估指标不同的来源可能在以下两个方面：

1. 不同的推理脚本

   我们在评测 PaddleOCR-VL 的时候采用了关闭文档方向分类、版面校正以及美化 Markdown 等美化功能方式推理，这些功能均会影响评估的准确性。为了能够对齐我们的推理方式，您可以使用如下的推理脚本进行推理，得到全部的 Markdown 结果以用于评估：

import os
import time
from tqdm import tqdm
from multiprocessing import Process, Lock, Queue, current_process, Manager
from paddleocr import PaddleOCRVL

GPU_NUM = 8
PROCESS_NUM = 16
DATASET_PATH = r"/path/to/minibench_v1_5"
VLLM_REC_SERVER_URL="http://127.0.0.1:8118/v1"
OUTPUT_DIR = "output"


def worker(task_queue, gpu_id, lock, output_dir, progress_dict):
    pipeline = PaddleOCRVL(vl_rec_backend="vllm-server", vl_rec_server_url=VLLM_REC_SERVER_URL,device=f'gpu:{gpu_id}')
    while True:
        task = task_queue.get()
        if task is None:
            task_queue.put(None)
            break
        input_dir, file = task
        output = pipeline.predict(
            f"{input_dir}/{file}",
            use_doc_orientation_classify=False,
            use_doc_unwarping=False,
        )
        for res in output:
            res.save_to_markdown(output_dir, pretty=False)
        
        with lock:
            progress_dict['processed'] += 1

if __name__ == "__main__":
    manager = Manager()
    progress_dict = manager.dict({'processed': 0, 'total': 0})
    files = os.listdir(f"{DATASET_PATH}")
    progress_dict['total'] = len(files)
    progress_dict['processed'] = 0

    task_queue = Queue()
    for file in files:
        task_queue.put((DATASET_PATH, file))
    for _ in range(PROCESS_NUM):
        task_queue.put(None)
    lock = Lock()
    processes = []
    for i in range(PROCESS_NUM):
        p = Process(
            target=worker,
            args=(
                task_queue, 
                i % GPU_NUM, 
                lock, 
                OUTPUT_DIR, 
                progress_dict, 
            )
        )
        p.start()
        processes.append(p)

    with tqdm(total=progress_dict['total'], desc="Processing", ncols=100) as pbar:
        while progress_dict['processed'] < progress_dict['total']:
            processed = progress_dict['processed']
            pbar.update(processed - pbar.n)
            time.sleep(0.1)
        pbar.update(progress_dict['total'] - pbar.n)

    for p in processes:
        p.join()

2. 不同的评估环境/评估方式

   在 OminDocBech v1.5 中使用 CDM 来对公式进行评估，该评估方式能够有效的避免不同模型对于公式表达式的差异而带来的指标差异，能够更加客观公正的评估公式的实际指标。 为了尽可能的对齐官方提供的评估方法，我们参考了 UniMERNet 中关于 CDM 环境构建的方法（ https://github.com/opendatalab/UniMERNet/blob/main/cdm/DockerFile） 构建了一个标准的 Docker 镜像，并在此环境下进行指标测评。经过我们的测试和验证，发现评测指标的结果除了 CDM 指标本身外，其他指标不受该环境影响，但无论是 CDM 指标本身还是其他指标均未能正确的评测出您在官网提供的指标结果，所以我们在此附上我们构建好的标准 Docker 镜像，辛苦帮忙看下是否哪里存在差异：

docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlex/paddlex:cdm-env

除了以上的两个问题外，我们也注意到在 README.md 文档的 Text OCR Evaluation 部分，给出了 PaddleOCR 的评测指标，希望能写明一下该处的指标来源是 PaddleOCR 的 PP-StructureV3 算法还是最新的 PaddleOCR-VL 算法。

我们已在 #135 提交中提供了修正后的评估结果。如您在评估过程中遇到任何问题，请随时与我们联系。非常感谢您的理解与合作！

[bailvwangzi]

@changdazhou 这个镜像里面，默认的/usr/bin/python环境缺很多包，而且也没有convert或者magick，无法运行python pdf_validation.py

[changdazhou]

不好意思，昨天上传的镜像可能有点问题，我们刚刚更新了一下，辛苦重新pull一下，另外我们的镜像中只是安装了 ImageMagick 等相关系统依赖, 需要手动安装 CDM 和 OmniDocBench 等相关 requirements 后使用。感谢支持！

[ouyanglinke]

感谢贵团队提供的推理脚本，我们进行了重新推理和评测，确实分数有提升，我们会尽快更新结果。
我们之前评测使用的是paddle的官方命令，paddleocr doc_parser -I xxx，想请教一下这两种推理方法的主要区别是什么呢？从指标上看，公式有较为显著的提升，从具体案例上看，新的推理脚本在行间公式漏检和中文部分漏识别上都有提升。
另外，Text OCR部分已经是很久之前测的，用的是paddleocr 2.9.1，具体调用代码在：paddleOCR_ocr，如果该模型有对应的版本名称可以提供一下，感谢！

[changdazhou]

@ouyanglinke 您提出的问题非常好，目前我们也已经发现了这两种推理方式之间存在的差异，初步猜测是在默认的并行推理模式下，框架的推理精度可能存在一定概率的扰动引起的。目前可以明确的是该问题本身和模型的识别解析能力是解耦的，只需要采用之前提供的推理脚本即可实现正确评估，目前我们也正在针对此问题进行进一步的排查和确认。对于 Text OCR 部分，你可以使用我们最新的 paddleocr 3.0 以上版本，将推理部分关键代码更换为如下代码，得到最新 PP-OCRv5 的评测结果：

from paddleocr import PaddleOCR

def test_paddle(img: Image, lan: str ):
    if lan == 'text_simplified_chinese':
        ocr = PaddleOCR(use_textline_orientation=True, lang='ch')
    elif lan == 'text_english':
        ocr = PaddleOCR(use_textline_orientation=True, lang='en')
    else:
        ocr = PaddleOCR(use_textline_orientation=True)

    img_add_border = add_white_border(img)
    img_ndarray = numpy.array(img_add_border)
    result = ocr.predict(img_ndarray)
    text = ''
    for idx in range(len(result)):
        res = result[idx]
        if not res:
            continue
        rec_texts = res["rec_texts"]
        for t in rec_texts:
            print(t)
            text += t
    return text

[ouyanglinke]

以下是我们利用您新提供的infer脚本评测出来的结果，请确认一下是否对齐，我们将更新这一版结果：

另外，感谢提供脚本，Text OCR 部分暂时没有进行更新和维护，后续统一更新的时候再换成最新版本模型结果，本次更新将先注明一下版本号，谢谢。

Comprehensive evaluation of document parsing on OmniDocBench (v1.5)

Model Type	Methods	Size	Overall↑	TextEdit↓	FormulaCDM↑	TableTEDS↑	TableTEDS-S↑	Read OrderEdit↓
Specialized VLMs	PaddleOCR-VL	0.9B	92.86	0.035	91.22	90.89	94.76	0.043

[changdazhou]

@ouyanglinke 十分感谢您的评测和反馈，根据您提供的评测精度结果来看，整体指标相比于我们自己评测的指标略高一些，特别是在表格方面会比我们自己评测的结果高 1% 左右。想问下您这边用于评测的原始 markdown 文件以及 OmniDocBench 评估脚本的 commit 是否方便提供一下呢？我们这边将会使用您提供的相关数据来检验我们自己准备的测评环境，以确保后续我们自己的评测仍然能够取得客观的指标结果。

[ouyanglinke]

好的，我们已将VLLM infer的markdown结果打包上传到Google Drive，评测环境可以参考我们新上传的docker，拉目前的main分支代码即可（918c550）

[changdazhou]

十分感谢！我们会尽快在您提供的环境和Markdown文件基础上对齐评测环境。

[changdazhou]

@ouyanglinke 十分感谢提供环境，但是您提供的Markdown结果尚无权限打开，我这边提交了查看申请，辛苦帮忙通过一下。

[ouyanglinke]

已共享，请查收。

[changdazhou]

@ouyanglinke 感谢您的反馈，我们已经找到了指标差异原因，我们这边采用的都是在 quick_match_metric_result.json 下的 table.all.TEDS.all的结果，发现您提供的指标使用的是table.page.TEDS.ALL，想问下这两者想表达的侧重点有什么区别呢，为什么最终的指标采用table.page.TEDS.ALL展示呢。如果您采用的方法是更加客观的话，前文提供的指标是正确且和我们自测对齐了的，也辛苦直接更新到最新的模型指标结果当中。

[ouyanglinke]

好的，table.all.TEDS.all是sample级别的avg，table.page.TEDS.ALL是页面内部做了avg之后，在页面间再做avg的，这个是和文本的分数统计方式统一的。
我们会尽快将leaderboard更新。

[changdazhou]

好的，非常感谢。