关于ROMA/DKM的训练损失问题

[qqiuqq]

首先很感谢出色的工作，我复用了您伪标签生成部分的代码，但是训练出来的结果在训练集上反而表现更差了。
我排查了为伪标签标注结果，似乎是没问题的，似乎是损失计算部分有些问题？
DKM/ROMA会输出不同scale下的结果，按道理来说，应该对标签做同样的处理，将标签也采样到相同scale下再计算损失。但我看代码似乎是没对标签做尺度变换？

[xuelunshen]

具体细节, 我记不太清. 是不是 DKM/ROMA 最后的坐标都是缩放到 [-1, 1] 之间了, 这个不管在什么 scale 下都是一样的, 因为相当于 normalize 了.

[qqiuqq]

虽然最后会做归一化缩放到[-1,1]之间，但是缩放的时候分母是h-1 or w-1，因为减1的操作，不同分辨率尺度下，归一化的分母会不一样，不是等价的。例如原图分辨率是（h,w)，在原图1/8分辨率下，不对pt做处理，归一化得到的是 2x/ (w-1) -1，但将pt0也采样变为1/8分辨率的话，归一化得到的就是2x/(w-8)-1。 但我不确定是不是这部分影响了我的训练结果

[xuelunshen]

好像有点不对劲, 比如原图是 640*640 的, 1/8 的时候是 80*80. 那原图右下角的点 (639, 639), 在原尺寸下映射为 (1, 1). 按照你这样算, 在 1/8 尺寸下映射不到 (1, 1).

[qqiuqq]

是的，所以还要在加一个截断，(639,639)也做缩小-->(79.875,79.875)，这时候要对设置一个小的阈值把缩放后在边界外的点做一个截断，(79.875,9.875)-->(79,79),这样归一化就是(1,1)

[qqiuqq]

因为我看ROMA的作者在计算gt的时候会对不同分辨率做处理，所以会有些疑问