Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks [2019-07-05]

[jessiSYJ]

Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks

Paper：https://arxiv.org/pdf/1905.09646.pdf
Notes from others：https://zhuanlan.zhihu.com/p/66928045
Code：

Task

提出一种基于group结构的轻量级空间attention模块，对每个group的每个空间位置进行加权。
个人理解（为了提升group结构表达能力，对每个分组加了一个attention，因为该attention结构主要的操作是pooling和dot product，对每个group，只增加了两个缩放偏移参数，所以轻量）

Attention module

Step1, 特征图分组并按空间位置拆分。

暂不考虑batch，假设当前为（H，W，C），分为G个group，则每个group维度为（H，W，C/G). 对于每个group的特征图，可将其在空间维度上展开，则表示为：

即分为HxW个小段，每个小段表示一个位置的特征，维度为1x1xC/G。

Step2, 对每个group进行空间关联表达。

g 的维度为 1x1xC/G

这里ci 也可用以下公式求得：

减均值除标准差的normalize：

Step3, 对原始x增加权重信息。

• 对每个group的空间表达特征增加偏移量参数，得到attention的mask：

这里其实也可以用矩阵来表示，可能效果更直观一些。整个attention模块的参数只在这个部分体现，即总的参数量为group数的2倍。

• 将attention mask通过sigmoid得到attention score，将attention score 乘在原始X上，表示对空间上的不同位置赋以不同的重要程度：
  

这里 H x W 个xi^组成的特征即为空间加权后的group特征， 维度为 HxWxC/G。

实验参数及结果

Ablation

• G=64结果最好（Figure 5）；

• Norm很重要不可去掉（差一个点，可见Table3）

• 两个偏移量参数的初始值对比如下（0，1结果最好，Table2）

Experiments on Object Detection