数据细节问题

[zhLawliet]

你好，很感谢提供了3dpw和hm36的标签，这里有几个疑惑。
关于pw3d：

问题1：为什么使用的betas是annots_hmrvideo的而不是pw3d原始提供的beta；
问题2：label['cam_rotation_matrix'] = raw_labels['cam_poses'][j,:3,:3] ，看你的centerHMR，这个相机外参矩阵应该是乘以到pose的global_rotation。在进行最终的监督时，不要单独监督这个相机外参。但是看你最终返回的dataset，好像没有使用这个相机外参。

所以这里的pose，其实没有对global_rotation做额外的处理？

[zhLawliet]

关于hm3.6

1 每一张图对应上面的标签，这里cam，pose，trans，都有三个值，再使用的时候，代码里面是随机选择的，是不是说明这三组数据差不多？

2 同理pw3d,关于pose的处理，这里发现直接将info['cam']赋值给了pose：pose[:3] = root_rotation。所以很困惑，上面的pw3d的pose[:3] 是原始的global_rotation，而这里的pose[:3]被赋值了info['cam']。他们是等价的吗？如何我要使用这个数据集，那么这个cam * pose[:3] 跟canterHMR输的的pose[:3]才是等价的？

[Arthur151]

对于前两个问题，因为ＤＳＤ这篇文章的主要competitor就是ＨＭＲ－ｖｉｄｅｏ，所以采用和它一样的ＧＴ用于评测，主要用于性能对比。所有的设置都是为了与ＨＭＲ－ｖｉｄｅｏ的设置保持一致的。

关于h36m数据集，因为每一帧都是按照每五帧采一帧下采样出来的，每一帧有３个ＳＭＰＬ参数是３个真正临近帧的ＳＭＰＬ，随机采样是为了避免过拟合，因为真正临近帧动作基本一致。

对于３ＤＰＷ数据集的处理还是建议看ＲＯＭＰ的相关部分代码。

[zhLawliet]

好的谢谢

[Arthur151]

我这里2D pose对的挺好的呀，没什么问题。

我好像是丢弃了每个视频前１５帧，应该是整个采样平移了５为倍数的帧数，你可以试一下。具体的太久远，忘记了。。。

[zhLawliet]

好的，谢谢，我这边实验应该是丢弃了第一帧之后，再整个采样平移了５为倍数的帧数。采用cv2.VideoCapture默认帧率进行抽帧。

[Arthur151]

恩恩，我中间迭代了几版，都忘记怎么搞得了。方便把数据处理代码（图片抽取）开源给大家么？

[zhLawliet]

好的，我整理一下，发出来

[Arthur151]

Thanks for your time and contribution to this respository.

[zhLawliet]

h36m_preprocess_video.py.zip
目前通过这个视频抽帧脚本（每一个视频完成解码，5倍采样，舍弃采样得到的第一帧），完成了S11和S9抽帧并验证，其中每一个视频完成抽帧验证，发现基本都是对的。
但是其中S9_Greeting_[0|1|2|3] 好像平移不对
如下图：

除了S9_Greeting_这个动作视频有问题，其他S9和S11的视频基本都是对的：

[Arthur151]

感谢！
我也发现有平移的问题了。貌似是ground truth本身有问题。但不影响3D pose 评测。
S9通常protocol里都只用来作为test set，不能用于训练的。

[zhLawliet]

嗯，谢谢