CDM渲染问题

[SeeeeShiwei]

按照cdm安装说明方法，完成cdm安装。

使用仓库中提供的json来测试，
[
{
"img_id": "case_1",
"gt": "y = 2z + 3x",
"pred": "y = 2x + 3z"
},
{
"img_id": "case_2",
"gt": "y = x^2 + 1",
"pred": "y = x^2 + 1"
}
]

gt和pred bbox jsonl生成的有点问题。
case_1.jsonl
{"bbox": [], "token": "y"}
{"bbox": [], "token": "="}
{"bbox": [], "token": "2"}
{"bbox": [], "token": "z"}
{"bbox": [], "token": "+"}
{"bbox": [], "token": "3"}
{"bbox": [], "token": "x"}

vis可视化貌似有点问题。
case_1_base.png如下

case_1.png如下

最后的metrics_res.json为NaN
{
"mean_score": NaN,
"exp_rate": NaN,
"details": {}
}

辛苦解答～

[SeeeeShiwei]

该问题已经解决。解决方式为修改metrics/cdm/modules/latex_processor.py中的
color_token = "\mathcolor[RGB]{<color_>}{".replace("", str(len(token_list)))
为
color_token = "{\color[RGB]{<color_>}".replace("", str(len(token_list)))

共8处。

[ouyanglinke]

好的，感谢，这个代码操作是换了一种渲染方法，理论上应该不会影响结果。

[SeeeeShiwei]

如果是mathcolor，下面的代码对应修改，是不是才能正确渲染～
\renewcommand*{@textcolor}[3]{%
\protect\leavevmode
\begingroup
\color#1{#2}#3%
\endgroup
}

[bailvwangzi]

该问题已经解决。解决方式为修改metrics/cdm/modules/latex_processor.py中的 color_token = "\mathcolor[RGB]{<color_>}{".replace("", str(len(token_list))) 为 color_token = "{\color[RGB]{<color_>}".replace("", str(len(token_list)))

共8处。

我也遇到了同样的问题。按照这样修改之后，可视化可以渲染bbox了，但是CDM指标还是0 @ouyanglinke @SeeeeShiwei

[ouyanglinke]

要不试试我们新传的docker环境？

[hyg07]

该问题已经解决。解决方式为修改metrics/cdm/modules/latex_processor.py中的 color_token = "\mathcolor[RGB]{<color_>}{".replace("", str(len(token_list))) 为 color_token = "{\color[RGB]{<color_>}".replace("", str(len(token_list)))
共8处。

我也遇到了同样的问题。按照这样修改之后，可视化可以渲染bbox了，但是CDM指标还是0 @ouyanglinke @SeeeeShiwei

我跟你一样的问题 然后发现是metrics/cdm_metric.py的119行会报错 ，ransac不认random_state=42这个参数；如下这么修改后可以算出cdm `import numpy as np
np.random.seed(42)

model, inliers_1 = ransac(
(src[inliers == False], dst[inliers == False]),
SimpleAffineTransform,
min_samples=self.min_samples,
residual_threshold=self.residual_threshold,
max_trials=self.max_trials
)
`

[jianxiao129]

该问题已经解决。解决方式为修改metrics/cdm/modules/latex_processor.py中的 color_token = "\mathcolor[RGB]{<color_>}{".replace("", str(len(token_list))) 为 color_token = "{\color[RGB]{<color_>}".replace("", str(len(token_list)))
共8处。

我也遇到了同样的问题。按照这样修改之后，可视化可以渲染bbox了，但是CDM指标还是0 @ouyanglinke @SeeeeShiwei

我跟你一样的问题 然后发现是metrics/cdm_metric.py的119行会报错 ，ransac不认random_state=42这个参数；如下这么修改后可以算出cdm `import numpy as np np.random.seed(42)

model, inliers_1 = ransac( (src[inliers == False], dst[inliers == False]), SimpleAffineTransform, min_samples=self.min_samples, residual_threshold=self.residual_threshold, max_trials=self.max_trials ) `

现在的版本里已经不用random_state这个参数了，好像是统一改成rng了。如下：
model, inliers_1 = ransac(
(src[inliers == False], dst[inliers == False]),
SimpleAffineTransform,
min_samples=self.min_samples,
residual_threshold=self.residual_threshold,
max_trials=self.max_trials,
rng=42
)

[WangBD2023hdu]

确认一下latex编译器版本 默认的安装方式有可能装老版本的，修改代码会导致指标对不齐，有大于1个点的diff

[ouyanglinke]

scikit-image 0.18.1