一种融合双注意力解耦与调制增强的肺结节CT图像检测网络及方法

本发明具体涉及一种融合双注意力解耦与调制增强的肺结节ct图像检测网络及方法。

背景技术：

1、肺结节是肺癌早期筛查和临床辅助诊断中的重要影像学征象，胸部ct由于具有较高的空间分辨率和较强的组织分辨能力，已成为肺结节检测的重要检查手段。临床上，医生通常通过观察结节的大小、形态、边界、密度及其与周围血管、支气管和肺组织的关系，对结节进行判断。然而，在实际胸部ct图像中，肺结节常常呈现出尺寸小、边界模糊、密度低、纹理弱、形态多变等特征，尤其是微小结节和磨玻璃结节，其影像表现与周围正常组织高度接近，极易被漏检或者误检。

2、传统的肺结节检测方法主要依赖人工设计特征与分类器组合实现，这类方法通常需要依赖候选区域生成、手工特征提取以及后续分类判别等多个步骤，不仅整体流程复杂，而且对于结节边界不清、形态不规则、对比度低的情况适应性较差，检测精度容易受到特征设计质量的限制。随着深度学习的发展，卷积神经网络被广泛应用于肺结节检测任务中，端到端的目标检测框架也逐渐成为研究热点。这类方法在特征表达能力和自动学习能力方面具有明显优势，但对于肺结节这种典型的小目标、弱纹理、强背景干扰目标，仍然存在明显不足。

3、具体而言，现有基于卷积网络的检测方法虽然能够较好地提取局部纹理特征，但由于卷积运算的局部感受野限制，其对全局上下文信息的建模能力不足，难以充分捕捉肺结节与周围组织之间的长距离依赖关系，导致对微小结节的判别能力有限。另一方面，基于transformer的检测方法能够利用自注意力机制增强全局建模能力，在多尺度特征交互方面具有一定优势，但在实际肺结节检测中，微小病灶的判别性信息容易在层层特征提取与融合过程中被逐渐削弱，尤其是在复杂背景条件下，血管、支气管、肺纹理等结构与结节具有较高相似性，容易引起注意力权重偏移，使模型将过多关注分配给背景区域，从而造成假阳性结果。

4、此外，现有多尺度特征融合方法虽然能够在一定程度上融合浅层细节信息和深层语义信息，但在实际融合过程中，浅层特征中的边缘和纹理信息往往容易被深层语义淹没，导致结节的精细定位能力下降。对于肺结节这类需要兼顾“是否存在”“位于何处”“边界如何”三重信息的检测任务而言，单纯增强语义表达或者单纯增强局部纹理都不足以满足临床应用需求。

5、因此，亟需一种能够同时兼顾微小病灶特征增强、多尺度信息有效融合以及复杂背景抑制的肺结节ct图像检测方法及网络，以提高肺结节检测的准确性、鲁棒性和临床实用性。

技术实现思路

1、本发明是为避免上述已有技术中存在的不足之处，提供一种融合双注意力解耦与调制增强的肺结节ct图像检测网络及方法，以在肺结节检测过程中增强对小尺寸结节、低对比度结节和边界模糊结节的特征表达能力，提高肺结节检测的准确性与鲁棒性，并在保证检测精度的同时兼顾模型推理效率。

2、本发明为解决技术问题采用以下技术方案。

3、本发明公开了一种融合双注意力解耦与调制增强的肺结节ct图像检测网络，包括主干特征提取模块、混合编码特征融合模块和transformer解码检测模块；

4、所述主干特征提取模块，用于对输入的肺部ct图像进行基础特征提取，并通过pce-sa注意力模块增强肺结节小目标区域的局部细节表达和全局上下文建模能力；所述主干特征提取模块包括stem模块、多个hg_stage模块、多个hg_block模块和多个pce-sa注意力模块；

5、所述混合编码特征融合模块，用于对主干特征提取模块输出的多尺度特征图进行通道映射、transformer编码和跨尺度特征融合，并通过dadf模块增强不同尺度特征之间的解耦表达与融合能力；所述混合编码特征融合模块包括多个输入投影模块、transformer编码模块、多个横向卷积模块、多个上采样模块、多个下采样模块、多个concat模块和多个dadf模块；

6、所述transformer解码检测模块，用于对混合编码特征融合模块输出的多尺度融合特征进行查询解码、调制注意力增强、边界框回归和类别预测，实现肺结节目标的定位与分类；所述transformer解码检测模块包括查询初始化模块、多个transformer解码层、多个mam调制注意力模块、分类预测头和边界框回归头。

7、本发明的一种融合双注意力解耦与调制增强的肺结节ct图像检测网络及方法的特点也在于：

8、进一步地，所述主干特征提取模块的多个hg_stage模块包括第一hg_stage模块、第二hg_stage模块、第三hg_stage模块和第四hg_stage模块；

9、所述多个hg_block模块包括第一hg_block模块、第二hg_block模块、第三hg_block模块、第四hg_block模块、第五hg_block模块和第六hg_block模块；

10、所述多个pce-sa注意力模块包括第一pce-sa注意力模块、第二pce-sa注意力模块、第三pce-sa注意力模块、第四pce-sa注意力模块、第五pce-sa注意力模块和第六pce-sa注意力模块。

11、所述stem模块、第一hg_stage模块、第二hg_stage模块、第三hg_stage模块和第四hg_stage模块依次串联；

12、所述第一hg_stage模块包括第一hg_block模块，所述第一pce-sa注意力模块嵌入于第一hg_block模块中；

13、所述第二hg_stage模块包括第二hg_block模块，所述第二pce-sa注意力模块嵌入于第二hg_block模块中；

14、所述第三hg_stage模块包括第三hg_block模块、第四hg_block模块和第五hg_block模块，所述第三pce-sa注意力模块、第四pce-sa注意力模块和第五pce-sa注意力模块分别嵌入于第三hg_block模块、第四hg_block模块和第五hg_block模块中；

15、所述第四hg_stage模块包括第六hg_block模块，所述第六pce-sa注意力模块嵌入于第六hg_block模块中。

16、进一步地，所述混合编码特征融合模块的多个输入投影模块包括第一输入投影模块、第二输入投影模块和第三输入投影模块；

17、所述多个横向卷积模块包括第一横向卷积模块和第二横向卷积模块；

18、所述多个上采样模块包括第一上采样模块和第二上采样模块；

19、所述多个下采样模块包括第一下采样模块和第二下采样模块；

20、所述多个concat模块包括第一concat模块、第二concat模块、第三concat模块和第四concat模块；

21、所述多个dadf模块包括第一dadf模块、第二dadf模块、第三dadf模块和第四dadf模块。

22、进一步地，所述第一输入投影模块、第二输入投影模块和第三输入投影模块分别用于对主干特征提取模块输出的三个尺度特征图进行通道映射，获得统一通道维度的第一投影特征图、第二投影特征图和第三投影特征图；

23、所述第三投影特征图输入至transformer编码模块进行全局上下文建模；

24、所述第三投影特征图经第一横向卷积模块和第一上采样模块处理后，与第二投影特征图经第一concat模块进行拼接，并输入至第一dadf模块；

25、所述第一dadf模块的输出特征经第二横向卷积模块和第二上采样模块处理后，与第一投影特征图经第二concat模块进行拼接，并输入至第二dadf模块；

26、所述第二dadf模块的输出特征经第一下采样模块处理后，与第一dadf模块的输出特征经第三concat模块进行拼接，并输入至第三dadf模块；

27、所述第三dadf模块的输出特征经第二下采样模块处理后，与transformer编码模块输出的编码特征图e3经第四concat模块进行拼接，并输入至第四dadf模块。

28、进一步地，所述dadf模块包括深层特征处理分支、浅层特征保留分支、通道注意力分支、空间注意力分支和特征融合分支；

29、所述深层特征处理分支用于提取融合特征中的高语义信息；

30、所述浅层特征保留分支用于保留肺结节边缘、纹理和局部形态细节；

31、所述通道注意力分支用于增强关键语义通道；

32、所述空间注意力分支用于突出肺结节疑似区域在空间位置上的响应；

33、所述特征融合分支用于对深层特征、浅层特征和注意力增强特征进行融合输出。

34、进一步地，所述transformer解码检测模块的多个transformer解码层包括第一transformer解码层、第二transformer解码层和第三transformer解码层；

35、所述多个mam调制注意力模块包括第一mam调制注意力模块、第二mam调制注意力模块和第三mam调制注意力模块；

36、所述第一mam调制注意力模块、第二mam调制注意力模块和第三mam调制注意力模块分别嵌入于第一transformer解码层、第二transformer解码层和第三transformer解码层的多尺度可变形交叉注意力计算过程中。

37、进一步地，所述transformer解码检测模块还包括分类预测头和边界框回归头；

38、所述分类预测头用于输出肺结节目标的类别置信度；

39、所述边界框回归头用于输出肺结节目标在ct图像中的位置坐标；

40、所述分类预测头和边界框回归头根据三个transformer解码层输出的查询特征进行预测，获得肺结节检测结果。

41、本发明还公开了一种融合双注意力解耦与调制增强的肺结节ct图像检测方法，其包括如下步骤：

42、步骤1：特征提取步骤；通过主干特征提取模块的stem模块、多个hg_stage模块、多个hg_block模块和多个pce-sa注意力模块，在hg_block特征聚合过程中对输入肺部ct图像进行特征提取和特征增强，获得三个尺度的增强肺结节特征图；

43、步骤2：多尺度特征编码与融合步骤；通过混合编码特征融合模块的多个输入投影模块、transformer编码模块、多个上采样模块、多个下采样模块、多个concat模块和多个dadf模块，对步骤1获得的三个尺度肺结节特征图进行跨尺度融合，获得多尺度融合特征图；

44、步骤3：检测结果输出步骤；通过transformer解码检测模块的多个transformer解码层、多个mam调制注意力模块、分类预测头和边界框回归头，对步骤2获得的多尺度融合特征图进行查询解码、类别预测和边界框回归，输出肺结节检测结果。

45、进一步地，所述步骤1中，主干特征提取模块采用b2结构，所述第一hg_stage模块、第二hg_stage模块、第三hg_stage模块和第四hg_stage模块输出通道数分别为96、384、768和1536，并选取第二hg_stage模块、第三hg_stage模块和第四hg_stage模块输出的特征图输入至混合编码特征融合模块。

46、进一步地，所述步骤2中，混合编码特征融合模块将三个尺度特征图统一映射至256维通道空间，并通过自顶向下路径和自底向上路径完成多尺度信息交互。

47、进一步地，所述步骤2中，所述dadf模块对拼接后的多尺度特征进行深层语义特征提取、浅层细节特征保留、通道注意力增强和空间注意力增强，以提高肺结节小目标区域和边界模糊区域的检测能力。

48、进一步地，所述步骤3中，所述mam调制注意力模块对多尺度可变形交叉注意力权重进行非线性调制和归一化处理，以增强有效采样点的响应并抑制无关背景区域的干扰。

49、进一步地，所述模型训练与测试过程包括：将经预处理的肺部ct图像样本按照70%、20%和10%的比例划分为训练集、验证集和测试集；在训练阶段仅使用训练集更新检测网络的模型参数，并使用验证集进行模型选择和检测阈值调节；在测试阶段固定模型参数和检测阈值，仅使用测试集对肺结节检测性能进行评价，以避免测试样本参与模型训练和参数调整。

50、与已有技术相比，本发明有益效果体现在：

51、本发明公开了一种融合双注意力解耦与调制增强的肺结节ct图像检测网络及方法，包括主干特征提取模块、混合编码特征融合模块和transformer解码检测模块；所述主干特征提取模块包括stem模块、多个hg_stage模块、多个hg_block模块和多个pce-sa注意力模块；所述混合编码特征融合模块包括多个输入投影模块、transformer编码模块、多个上采样模块、多个下采样模块、多个concat模块和多个dadf模块；所述transformer解码检测模块包括多个transformer解码层、多个mam调制注意力模块、分类预测头和边界框回归头。

52、本发明公开的一种融合双注意力解耦与调制增强的肺结节ct图像检测网络及方法，具有以下几个方面的技术优点：

53、（1）在主干特征提取模块中引入pce-sa注意力模块，增强肺结节小目标区域的局部细节特征和全局上下文表达能力，提高低对比度结节和边界模糊结节的特征响应；

54、（2）在混合编码特征融合模块中引入dadf模块，通过深浅特征解耦、通道注意力增强和空间注意力增强，提高多尺度肺结节特征的融合质量；

55、（3）在transformer解码检测模块中引入mam调制注意力模块，对多尺度可变形交叉注意力权重进行调制，增强有效采样点贡献，降低肺组织背景、血管纹理和噪声区域对检测结果的干扰；

56、（4）采用hgnetv2作为主干特征提取模块，并结合pce-sa注意力模块和三层transformer解码结构，在检测精度与模型复杂度之间建立相对平衡。

57、本发明的融合双注意力解耦与调制增强的肺结节ct图像检测网络及方法，用于肺部ct图像中的肺结节自动检测，尤其适用于小尺寸结节、低对比度结节和边界模糊结节的检测，具有能够增强肺结节关键区域特征表达能力、提高多尺度特征融合质量、降低复杂背景干扰、提升检测准确性与鲁棒性等优点。