398 字
2 分钟
通道空间和像素注意力
通道/空间注意力
代表论文 CBAM
给定一个中间特征图,沿着通道和空间两个维度依次推断出注意力权重,然后和源特征图相乘对特征进行自适应调整,可以无缝集成到任何一个 CNN 架构中,和 CNN 进行一起端到端的训练.
通道注意力模块
特征的每一个通道都代表着一个专门的检测器,因此通道注意力是关注什么样的特征有意义.,为了汇总空间特征,作者采用了平均池化和最大池化两种方式来利用信息.
输出一个 HxWxC 的特征,我们先进行一个空间的全局最大池化和平均得到一个 1x1xc 的通道描述,然后再送入一个两层的神经网络,第一层个数 c/r,第二次 c 个,relu 激活,分别激活 max 和 average.最后通过 sigmoid 得到权重系数 (也就是每一层的权重),做后对原始的输入进行相乘,就得到了加权后的权重.
空间注意力模块
在通道注意力模块之后,我们再引入了空间注意力模块来关注哪些地方有意义
与通道注意力类似,给定一个 HxWxC 的特征 F,进行一个通道维度的最大池化和平均池化,得到一个 HxWx1 的通道描述,然后把两个描述按照通道拼接,输入一个 7x7 卷积 +sigmoid 得到权重系数,再和原始的相乘