一种增强小目标分割性能的自注意力机制模块的制作方法

1.本发明属于深度学习对医学图像分类技术领域，涉及一种增强小目标分割性能的自注意力机制模块。


背景技术：

2.注意力机制(attention mechanism)可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销。注意力机制既简单，又可以赋予模型更强的辨别能力，目前深度学习神经网络结构中，一般均包含注意力机制。
3.由于注意力机制有助于提高小目标分割网络的特征表达，即关注本质特征，抑制不必要的特征，卷积块整合注意力机制可以有效提高图像分类、目标分割和实例分割等计算机视觉任务的性能。在基于空间注意力机制的检测算法中，由于小物体边界框面积与图像面积之比(ratio of bounding boxarea to image area ， rbi)在0.08% ~0.58%之间，边缘特征模糊甚至缺失，分辨率和可利用特征信息有限，接连的多层下采样卷积使得小目标特征信息丢失，导致基于空间注意力机制目标分割算法性能有限。
4.基于上述现有技术中的缺点，为了捕获微小物体的位置和感知其全局空间结构，在不增加计算复杂度的前提下，本发明提出了一种增强小目标分割性能的自注意力机制模块，通过将网络特征张量压缩，平均空间上所有点的信息，使用自注意力机制有效地捕获了跨通道的相关性，对含有小目标特征信息通道加权，从而实现对小目标分割能力的增强。


技术实现要素：

5.本发明的目的是提供一种增强小目标分割性能的自注意力机制模块，可以实现对小目标分割能力的增强。
6.本发明所采用的技术方案是，一种增强小目标分割性能的自注意力机制模块，所述的自注意力机制模块包括以下步骤：将多期相特征图x输入到该自注意力机制模块，所述的多期相特征图，其中c、h、w、d分别表示多期相的通道数、空间高度、空间宽度、空间深度；多期相特征图x输入时分为c条支路，所述的支路依次命名为第1期相支路、第2期相支路，以此类推，最后一条支路为第c期相支路；每条支路结构相同，每条支路输入的特征图分别命名为第i期相特征图，，所述的第i期相特征图经过单期相增强注意力单元得到第i特征表达，每个特征表达均为，将第1特征表达到第c特征表达一起用concat拼接得到最终特征表达，所述的最终特征表达为。
7.进一步地，所述的单期相增强注意力单元包括如下步骤：
a、将第i期相特征图， 首先进行一个卷积块运算，将运算结果沿着该期相的通道维数ｄ分为ｄ个分支，每个分支均先依次输入到2个卷积核大小为k=1的标准卷积层，得到第i期相标准卷积特征图；b、将所述的第i期相标准卷积特征图输入到全局平均池化gap模块，获得第i期相的压缩特征图,所述的，，其中的特征在训练过程中逐渐捕获特定的特征响应；ｃ、前d-1个支路的压缩特征图通过点积的方式，进行归一化权重，获得通道自相关权重矩阵，所述的过程可表示为如下：所述的归一化权重使用sigmoid激活函数，该过程可以表示为如下式子（2）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中：分别表示的归一化权重，为 sigmoid激活函数，表示激活函数relu; 和为两个一维卷积层； ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ（3）d、通过如下式子将获得通道自相关权重矩阵和点积获得通道自适应权重：e、为了捕获通道的远距离依赖关系，获得有效的小目标语义特征表示，将通道自适应权重和给定的第i期相特征图相乘：其中为第i期相的特征表达。
附图说明
8.图1是本发明中的自注意力机制模块总体结构示意图；图2是本发明中的单期相增强注意力单元的结构示意图。
具体实施方式
9.下面结合附图和具体实施方式对本发明进行详细说明。
10.一种增强小目标分割性能的自注意力机制模块，如图1所示，所述的自注意力机制模块包括以下步骤：将多期相特征图x输入到该自注意力机制模块，所述的多期相特征图，
其中c、h、w、d分别表示多期相的通道数、空间高度、空间宽度、空间深度；多期相特征图x输入时分为c条支路，所述的支路依次命名为第1期相支路、第2期相支路，以此类推，最后一条支路为第c期相支路；每条支路结构相同，每条支路输入的特征图分别命名为第i期相特征图，，所述的第i期相特征图经过单期相增强注意力单元得到第i特征表达，每个特征表达均为，将第1特征表达到第c特征表达一起用concat拼接得到最终特征表达，所述的特征表达为。
11.进一步地，如图2所示，所述的单期相增强注意力单元包括如下步骤：a、所述的单期相增强注意力单元的通道权重计算公式如下：其中：表示通道的权重，为 sigmoid激活函数， f为卷积运算；将第i期相特征图， 首先进行一个卷积块运算，将运算结果沿着该期相的通道维数ｄ分为ｄ个分支，每个分支均先依次输入到2个卷积核大小为k=1的标准卷积层，得到第i期相标准卷积特征图；b、将所述的第i期相标准卷积特征图输入到全局平均池化gap模块，获得第i期相的压缩特征图,所述的，，其中的特征在训练过程中逐渐捕获特定的特征响应；ｃ、前d-1个支路的压缩特征图通过点积的方式，进行归一化权重，获得通道自相关权重矩阵，所述的过程可表示为如下：所述的归一化权重使用sigmoid激活函数，该过程可以表示为如下式子：其中：分别表示的归一化权重，为 sigmoid激活函数，表示激活函数relu; 和为两个一维卷积层；d、通过如下式子将获得通道自相关权重矩阵和点积获得通道自适应权重：e、为了捕获通道的远距离依赖关系，获得有效的小目标语义特征表示，将通道自适应权重和给定的第i期相特征图相乘：
其中为第i期相的特征表达。
12.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。


技术特征：
1.一种增强小目标分割性能的自注意力机制模块，其特征在于，所述的自注意力机制模块包括以下步骤：将多期相特征图x输入到该自注意力机制模块，所述的多期相特征图，其中c、h、w、d分别表示多期相的通道数、空间高度、空间宽度、空间深度；多期相特征图x输入时分为c条支路，所述的支路依次命名为第1期相支路、第2期相支路，以此类推，最后一条支路为第c期相支路；每条支路结构相同，每条支路输入的特征图分别命名为第i期相特征图，，所述的第i期相特征图经过单期相增强注意力单元得到第i特征表达，每个特征表达均为，将第1特征表达到第c特征表达一起用concat拼接得到最终特征表达，所述的最终特征表达为。2.根据权利要求1所述的一种增强小目标分割性能的自注意力机制模块，其特征在于，所述的单期相增强注意力单元包括如下步骤：a、将第i期相特征图， 首先进行一个卷积块运算，将运算结果沿着该期相的通道维数ｄ分为ｄ个分支，每个分支均先依次输入到2个卷积核大小为k=1的标准卷积层，得到第i期相标准卷积特征图；b、将所述的第i期相标准卷积特征图输入到全局平均池化gap模块，获得第i期相的压缩特征图,所述的，，其中的特征在训练过程中逐渐捕获特定的特征响应；ｃ、前d-1个支路的压缩特征图通过点积的方式，进行归一化权重，获得通道自相关权重矩阵，所述的过程可表示为如下：所述的归一化权重使用sigmoid激活函数，该过程可以表示为如下式子：其中：分别表示的归一化权重，为 sigmoid激活函数，表示激活函数relu; 和为两个一维卷积层；d、通过如下式子将获得通道自相关权重矩阵和点积获得通道自适应权重：e、为了捕获通道的远距离依赖关系，获得有效的小目标语义特征表示，将通道自适应
权重和给定的第i期相特征图相乘：其中为第i期相的特征表达。

技术总结
本发明公开了一种增强小目标分割性能的自注意力机制模块，包括以下步骤：将多期相特征图X分为C条支路输入到该自注意力机制模块，每条支路结构相同，每条支路输入的特征图分别命名为第i期相特征图，第i期相特征图经过单期相增强注意力单元得到第i特征表达，将第1特征表达到第C特征表达一起用concat拼接得到最终特征表达，所述的最终特征表达为H


技术研发人员：王博 赵威 申建虎 张伟 徐正清
受保护的技术使用者：北京精诊医疗科技有限公司
技术研发日：2022.11.07
技术公布日：2022/12/1