复现结果差距较大

[SII-Whaleice]

我按照官方代码复现了IIN的结果SR/SPL为54.6/21.2，和论文中报的差距很大，这是啥原因啊？是有代码没开源全吗？

[mxziming]

我发现LLM在graphbuilder的输出不太理想，做不到有效地提取物品和物品之间的关系，你可以输出这些中间结果看一看？

[SII-Whaleice]

是的，llm本身3d感知能力还是差一些，有时候处理物体间的空间关系不是那么准。另外，你有复现过他这个结果吗？感觉差的有点多诶

[mxziming]

我在IIN任务上执行了300个episode，SR/SPL在65%/24%上下。

但是这篇文章的思路好像是：先用VLM生成对图像的文字描述，再用LLM提取文字描述中的物品和物品关系。VLM用的是LLava，LLM用的是LLaMA，LLava的感知能力还可以，LLaMA的提取效果不理想。

[mxziming]

我在尝试修改prompt

[SII-Whaleice]

我在IIN任务上执行了300个episode，SR/SPL在65%/24%上下。

但是这篇文章的思路好像是：先用VLM生成对图像的文字描述，再用LLM提取文字描述中的物品和物品关系。VLM用的是LLava，LLM用的是LLaMA，LLava的感知能力还可以，LLaMA的提取效果不理想。

你是就用单卡跑的吗，并且用的llava和llama这种配置吗？我感觉单卡跑起来会很慢，所以切分了成了6组去跑的。

[SII-Whaleice]

我试图按照场景的方式来切分

[mxziming]

嗯嗯，我是用单卡跑的，用的论文里的配置

那我再学习一下你的方法，这个具体是在哪里切的呀？

[SII-Whaleice]

嗯嗯，我是用单卡跑的，用的论文里的配置

那我再学习一下你的方法，这个具体是在哪里切的呀？

在src/envs/init.py里

但是我现在发现，这么切可能会影响精度，应该是某些地方出错了。我看了下之前单卡跑的用的llama3.2-vision 我跑到300episodes时SR/SPL 0.67/0.25左右

[SII-Whaleice]

但是跑到560时结果还会下降，我不确定跑完1000个会不会达到论文的结果
INFO:root:num timesteps 191430, episode_id 560 Average SR/SPL: 0.62143/0.25348,

[mxziming]

嗯嗯，结果是在不断下降的。

我猜测你的切分可能影响不大，咱们复现的结果差不多，还有一个小问题是可视化界面，没有goal graph，但图结构又是这篇文章的重点，所以我打算先在这里搞一下

[SII-Whaleice]

我准备跑一个完整的看一下。另外，请问你知道为什么这篇文章的方针需要8000mb显存，感觉像比与别的很吃显存，并且也不太好实现多环境诶。

[SII-Whaleice]

嗯嗯，结果是在不断下降的。

我猜测你的切分可能影响不大，咱们复现的结果差不多，还有一个小问题是可视化界面，没有goal graph，但图结构又是这篇文章的重点，所以我打算先在这里搞一下

我最近读了下他的代码，我发现graph的实现和论文中讲的感觉不是那么相同诶。

[bagh2178]

我们猜测有可能是您在切分过程中产生了问题，我们也正在尝试复现您的问题。

We suspect that there might be a problem during your split process. We are also trying to reproduce your problem.

[knightwzh]

嗯嗯，结果是在不断下降的。
我猜测你的切分可能影响不大，咱们复现的结果差不多，还有一个小问题是可视化界面，没有goal graph，但图结构又是这篇文章的重点，所以我打算先在这里搞一下

我最近读了下他的代码，我发现graph的实现和论文中讲的感觉不是那么相同诶。

我也有类似的疑问，src/graph/overlap.py中的node_similarity似乎是根据node的度数计算的，但本应是通过节点的feature相似度计算？同样的，edge_similarity的计算在代码中是通过计算集合相交的结果。和我对论文的理解有一定区别，我不清楚是否是我的理解有误或是遗漏了某些关键信息。

[nothingmay]

If any of the results from TN could be shared? Mine is generally 0.18/0.092