Abstract
在标注的血液测试中,传统的流程需要医生手动分离白细胞,然后再对这些白细胞进行分类,从而进行后续诊断.这样的操作流程不仅时间开销大并且劳累.而且容易出错,导致后续的诊断和分类出现困难.当代的白细胞检测方法在处理白细胞较少和白细胞尺度不一样的图像上有很大的困难,为了解决这个困难,本文提出了一种方法MFDS-DETR.为了实现白细胞尺度问题,我们设计了高层级特征筛选金字塔(HS-FPN)来进行多尺度特征融合,
Introduction
自动白细胞分类通常作为一种血液学分析技术来分类血液图像中的白细胞。这种技术通常用来区分不同的白细胞.但是目前的技术分的不是很精确,导致后续的一些问题.本研究旨在自动、准确地定位血液显微镜图像中白细胞的位置，并计算不同类型的白细胞。该方法可以加速医生的诊断,非常具有研究意义.
传统的白细胞检测任务有如下困难
- 不同的医院使用不同的设备来获得血液图像,这导致了生成的图片的颜色不一
- 白细胞图像可识别的特征有限,给有效的检测带来了一定的困难
- 不同的放大倍数导致白细胞的大小不一样,此外,不同的白细胞之间的固有差距加剧了这一影响
- 显微镜成的分辨率较低,生成图像的几何性质较为不一样,造成了检测上的一定的困难.
为了应对这些问题,我们提出了这个网络.在这个网络中,一个High-level Screening-feature Fusion Pyramid被设计用来帮助不同scale的白细胞多层的特征融合.在HS-FPN中高层的特征被作为权重通过channel-attention模块来过滤底层特征的信息,被筛选的信息然后和高层次的特征进行融合,从而增强模型的特征表达能力.此外,为了解决白细胞特征缺乏问题,在编码器中引入了一种多尺度可变形的自注意机制,这有助于白细胞特征图的全局信息提取.之后,使用slef-attetion和变形的注意力机制,decoder从全局特征中学习需要被检测的目标.
我们提出了创新的HS-FPN特征融合模块。与传统的基于自然图像的特征融合方法相比，该模块考虑了白细胞固有的尺度差距。这一显著的变化极大地提高了该模型在白细胞检测数据集中的特征表达能力。
Mehtod
如图所示，我们的网络主要由4个部件，backbone，HS-FPS,encoder和decoder。其中backbone是用来从原始图片中提取多尺度的特征，从而方便后续的处理。HS-FPS是一个特征金字塔来提高白细胞的特征，解决白细胞特诊有限并且解决白细胞直径不一带来的问题。这是通过通道注意力实现的。然后把过滤的特征和高级语义特征相加，从而实现多尺度特征融合，这样提高了模型的特征表达能力。Encoder主要学习白细胞图形的全局特征，decoder主要学习输出值和真实值的匹配。
Backbone
我们使用ResNet50作为Backbone
HS-FPN
白细胞数据集中白细胞识别任务受到多尺度的影响，这种影响主要来自白细胞之间的尺度不一致。甚至同类的白细胞的大小也很不一样。下图是我们的模块的架构图，其中他包含两个主要模块：特征选择模块和特征融合模块。开始的时候，不同尺度的特征图进过一个筛选块，然后高维信息和低纬信息通过Selective Feature Fusion算法协同集成在一起，这种融合产生了丰富的语义特征。
Feature Selection Module： CA模块和维度匹配模块在这个过程中发挥了重要作用，CA模块首先处理大小为CxHxW的特征图，他有一个最大池化和一个全局池化，然后这两个特诊结合起来京广一个Sigmoid模块，顺便计算每个模块的权重，最终的输出大小为：Cx1x1,这里的最大池化模块用来提取最重要的信息，二平均池化用来统计所有数据，减少过度损失。把这俩结合就可以保留最重要信息的同时防止信息的过度损失。过滤后得到的特征图通过后续的权重和特征图相乘来得到。由于不同尺度上的特征图进行匹配十分重要，因为他们的通道数不一致，因此这里我们采用了1x1大小的卷积来把通道数减少到256个。
Feature Fusion Module： 由Backbone得到的多尺度特征图具有语义信息丰富的高级特征，但是又具有粗糙的目标定位。低级别特征具有精确的目标定位但是语义信息少，一个常见的方案是吧高级特征上采样和第七特征进行像素级求和来使用语义信息丰富每一层。但是这种方法没有进行特征选择。为了解决这种限制，我们提出了SFF模块，该模块通过使用高级特征作为权重来过滤嵌入在低级特征中的基本语义信息，从而战略性地融合特征。
Feature Fusion Module
给定一个高纬度的特征,和一个低纬度的特征,首先高纬度的特征使用T-Conv来进行扩张+一个3x3卷积核,让高纬度的特征大小变为Cx2Hx2W,然后为了统一高低纬度特征的维度,我们使用双线性差值的方式上下采样,然后使用高纬度的特征+CA模块生成attention weight和low-level的特征相乘,最后两个特征进行fusion得到了最终的特征.最终特征大小和low-level的一致.
Deformable Self-attention Module
变形注意力模块主要分为两个部件,一个是offset module和一个attention module.
Offset module:向量必须先转为特征图,然后考虑参考点坐标生成查询向量.一个线性层被用来和查询向量相乘得到偏移p_q,同样的方式也被使用在特征图上用来生成content feature map,随后，根据参考点的偏移量来确定每个参考点的感兴趣点或采样点。然后采用双线性插值法实现每个点的输出𝑜𝑓𝑓𝑠𝑒𝑡𝑣𝑎𝑙𝑢𝑒。
Encoder和decoder
编码器起着关键的作用,输入encoder的事一个多级的特征图,整合了尺度编码和位置编码,如图1所示,每个layer都包含了一个变形的attention和一个前馈神经网络FFN,考虑到参考点位置的影响,