1116 字
6 分钟
M2SNet:Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation

Abstract#

精确的分割对早期诊断是是重要的,目前常用的方法是使用U型网络并使用元素级的addition或者concatenation来融合不同层级的特征,但是这两种方法会导致加入冗余的信息导致不同级别的特征的互补性,从而导致边界的模糊等后果.为了应对这个问题,我们提出了m2snet,具体来说,我们首先设计了一个减法单元(SU)来获得不同的特征,然后我们将单尺度SU扩展到层内多尺度SU,它可以为解码器提供像素级和结构级的差异信息,然后,我们为不同层次的多尺度SUs配备不同的接受域,从而实现层间多尺度特征聚合,获得丰富的多尺度差异信息.

Introduction#

在精确分割领域有如下问题

  1. U型网络直接把特征做element-wise的加法或者拼接,导致对不同层级的特征没有更多的操作,导致网络无法平衡精确的位置和细微的边间变化.
  2. 因为感受野有限,一个卷积核不能感受到大小变化的物体的上下文,有些方法使用ASPP(空间金字塔)来进行操作,但是这些方法会导致计算量开销大
  3. 目前有许多的损失函数来帮助进行优化,虽然这些基本的损失函数及其变体具有不同的优化特征,但复杂的手工数学形式的设计对许多研究来说确实是耗时的,为了获得全面的性能,模型通常结合多个损失函数,对研究者的调参能力提出了很大的挑战,因此我们提出了聪明的损失函数

Mutil-scale Feature Extraction#

尺度线索在捕获上下文的信息上有着重要的作用,基于被广泛验证的scale-space的理论,越来越多的多尺度方法被提出,相较于单尺度特征,多尺度特征有利于解决自然发生的尺度变化。这种特征能够帮助分割模型更好的识别病变区域.目前多尺度方法分为两类,inter-layer multisacle层间多尺度和intra-layer mutil-scale多层多尺度结构.前者依赖于不同尺度的feature encoder提取的信息并且逐步把他们聚合到decoder中,比如u型网络,后面的装配了多尺度可拔插模块.比如ASPP来构建具有不同扩张速率的平行多分支卷积层,以获得丰富的感受域组合.与之不同的是,我们通过同时引入层间和层内的多尺度信息,提出了具有极端多尺度信息的多尺度多尺度减法模块。层内多尺度减法单元侧重于挖掘像素-像素到区域区域特征对的自差特性。与单尺度操作相比,整个过程在没有额外参数的情况下非常有效的。

Method#

image-20241008144623897

M2SNet架构如图,其中有5个encoder,一个M2SM架构和4个decoder模块,我们采用Res2Net-50来作为特征提取的猪肝网络,我们对特征图采用3×33\times3的卷积将通道数统一减少到64,然后不同的特征输入到M2SM网络中输出5个不同的互补特征

Mutil-scale in Mutil-scale Subtraction Module#

用FA和FB来表示相邻的特征图层,他们都已经被ReLu激活,我们定义一个SU单元如下

SU=Conv(FAFB)SU=Conv(|F_A\ominus F_B|)

其中异或符号是减法操作,||是绝对值,Conv是卷积,直接做减法是为了在两个独立的pixel之间建立关系.我们使用1x1,3x3和5x5大小的固定全1参数的卷积用于根据像素-像素和区域-区域模式计算细节和结构差异值。使用固定参数的多尺度滤波器不仅可以直接捕捉在匹配空间位置上初始特征对之间的多尺度差异线索,还能够在不引入额外参数负担的情况下实现高效训练。

image-20241008152132615

MSU=Conv(Filter(FA)1×1Filter(FB)1×1+Filter(FA)3×3Filter(FB)3×3+Filter(FA)5×5Filter(FB)5×5),MSU = \text{Conv} \left( \left| \text{Filter}(F_A)_{1\times 1} \ominus \text{Filter}(F_B)_{1\times 1} \right| + \left| \text{Filter}(F_A)_{3\times 3} \ominus \text{Filter}(F_B)_{3\times 3} \right| + \left| \text{Filter}(F_A)_{5\times 5} \ominus \text{Filter}(F_B)_{5\times 5} \right| \right),

我们水平和垂直的使用了多次MSU操作,最终的CE是每个MSU结果的和.

M2SNet:Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation
https://fuwari.vercel.app/posts/machinelearning/多模态/多尺度/医学分割的多尺度网络/
作者
FlyingWhite
发布于
2024-10-08
许可协议
CC BY-NC-SA 4.0