BigKernel Restormer Block

[angle011]

首先祝贺获得MegCup 1st！
我仔细拜读了你们的代码，并且对你们在Restormer block 中修改的大 Kernel Conv Block 来加强空间位置信息提取的尝试很感兴趣。想问一下我在NAFNet中也尝试加入BigKernel，对比发现不仅收敛变慢了，精度也不高。你们对这个做过消融实验吗？还是说这个尝试在transformer block中很更奏效？

[hlh981029]

感谢提问！
我们没有在 NAFNet 中做过 Large Kernel 相关的尝试，不过在其他 Conv-based 网络中尝试的结果和你类似，网络收敛会变慢一些，精度提升也比较有限。我们的 Motivation 主要是 Restormer 的 Transposed Self-Attention 更多考虑了 Channel 上的信息交换，所以使用 Large Kernel Conv 来补充空间位置上的信息。

[NK-CS-ZZL]

1. 当时做过消融实验的，在小参数量的Restormer-based网络中大的膨胀卷积对效果的提升还是很明显的。但是大模型上这个改动的效果没有验证过。
2. 另外一个需要注意的点是，U-Net会对特征进行下采样，而我们的网络始终在在原分辨率的特征上进行操作，这个差异也可能导致我们的网络和NAFNet的表现不同。
3. 不知道您是如何将Big Kernel融入NAFNet的，我们的经验是在原有模块内部加大卷积核可能并不有用（如：NAFNet的SCA部分）。另外，卷积核尺寸可能不太重要，但单次卷积覆盖的感受野要大（如：使用膨胀率为4，卷积核为5x5的卷积），decoder端更适合较大感受野的卷积核。

[angle011]

感谢你们的解答，我会进一步改良尝试的。