一种基于非对称特征交互的医学图像分类方法及系统

本发明属于医学图像处理与计算机视觉，具体涉及一种用于医学图像分类的视觉编码方法及系统。

背景技术：

1、随着深度学习的发展，卷积神经网络（cnn）和视觉变换器（vision transformer,vit）已成为医学图像分析的主流工具：cnn类模型（如resnet、densenet）：通过局部卷积提取特征，具有较好的局部建模能力，但难以捕捉全局上下文信息，对长距离依赖建模能力有限。vit类模型（如swin transformer、medvit）：通过自注意力机制建模全局依赖，能有效捕捉长距离特征，但在医学图像中，面对非对称解剖结构和尺度变化大的病灶时，特征交互效率低，计算开销大。混合模型（如cbam、coordinate attention）：引入注意力机制增强特征表达，但多为对称结构，未能有效解耦空间与语义特征，且对小尺度病灶的敏感性不足。

2、近年来，为克服上述局限性，研究者从多个角度对医学图像视觉编码器进行了改进。一类工作将注意力机制引入卷积网络，通过在通道和空间维度上引入自适应加权，增强了模型对关键特征的筛选能力。然而，这些注意力模块大多采用对称结构，对空间信息和语义信息施加统一的加权策略，未充分考虑医学图像中空间特征与语义特征在分布上的高度不对称性。另一类工作基于变换器架构，通过混合卷积-注意力设计和层级化 token交互机制来改善多尺度特征建模能力。

3、尽管上述方法在特定任务上取得了进展，但现有模型仍普遍存在以下不足：多数模型依赖对称或标准化的注意力机制，忽略了医学图像中空间和语义特征分布的非对称特性，导致特征交互效率较低；现有架构通常优先聚合全局信息，缺乏显式捕获微小病灶或细微局部结构的机制，而这些结构对精准诊断至关重要；部分基于变换器的方法虽然建模能力较强，但计算复杂度高、推理速度慢，难以满足临床实际部署中对实时性和轻量化的需求。

4、综上所述，现有医学图像分类技术亟须一种能够实现高效非对称特征交互、兼顾全局语义感知与局部细节增强、且具备轻量化计算特性的视觉编码方案。

技术实现思路

1、本发明针对上述问题，提出了一种基于非对称特征交互的医学图像分类方法及系统，尤其适用于处理结构复杂、病灶尺度变化大、对比度低的医学影像，如ct、mri、病理切片、眼底图像等。本发明从三个层面解决现有技术的不足：其一，在特征组织方面，本发明摒弃了传统编码器对所有特征通道进行同等处理的范式，引入基于数据复杂度的动态非对称通道分离策略，该策略通过学习输入图像的全局复杂度因子，自适应地将特征通道划分为空间主导分支和语义主导分支；其二，在特征交互方面，本发明设计了空间-语义引导的交叉注意力机制，建立空间分支与语义分支之间的双向信息流。这种交叉引导机制从根本上区别于传统的自注意力或对称注意力，实现了同模态内互补特征的高效融合；其三，在特征增强方面，本发明引入了基于可变形感受野的上下文增强模块，通过并行提取高频细节特征和全局上下文特征，并利用可变形卷积自适应地匹配不规则病灶形态，增强模型对微小、低对比度病变区域的敏感性。

2、本发明一方面，提供一种基于非对称特征交互的医学图像分类方法，包括以下步骤：

3、步骤1：对于从医疗成像设备获取的医学图像数据，进行预处理，得到标准化的图像输入数据。

4、步骤2：将图像输入数据送入卷积投影层，生成低层特征表示，低层特征表示依次通过多个层级化的混合块进行逐步下采样与特征提取，用于输出不同尺度的增强特征图。所述混合块包含卷积层和特征交互块，用于提取局部特征和跨分支特征融合与细化。输入图像经过卷积投影后，依次通过多个混合块，最终将多尺度的增强特征图用于后续分类头进行医学图像分类。

5、步骤3：将所有混合块中读取每个混合块输出的增强特征图进行拼接，形成统一的特征表示输入多层感知机分类头，输出医学图像分类预测结果。

6、进一步的，所述特征交互块的实现如下：

7、步骤2.1：对于每个输入特征交互块中的特征图，先估计通道复杂度，随后基于通道复杂度通过加权计算得到空间特征与语义特征。

8、步骤2.2：对于空间特征与语义特征，通过双向加权融合，合并为全局特征。

9、步骤2.3：将全局特征通过可变形感受野机制并行提取两类特征，将两类特征拼接后，通过轻量级注意力机制生成增强权重，并通过残差连接得到该尺度特征交互块输出的增强特图。

10、本发明另一方面，还提供一种基于非对称特征交互的医学图像分类系统，包括以下模块：

11、医学图像模块，用于对于从医疗成像设备获取的医学图像数据，进行预处理，得到标准化的图像输入数据。

12、非对称特征交互模块，用于将图像输入数据送入卷积投影层，生成低层特征表示，低层特征表示依次通过多个层级化的混合块进行逐步下采样与特征提取，用于输出不同尺度的增强特征图。

13、医学图像分类输出模块，用于将所有混合块中读取每个混合块输出的增强特征图进行拼接，形成统一的特征表示输入多层感知机分类头，输出医学图像分类预测结果。

14、本发明有益效果

15、本发明专门针对医学图像分类任务设计。针对医学图像中存在的结构异质性、病灶尺度差异大、对比度低等固有挑战，通过创新的非对称特征交互机制与频谱上下文增强模块，实现了高效且精准的医学图像特征提取。与现有技术相比，本发明提高了分类精度，同时兼顾高性能与低计算开销，这种轻量化设计使得本发明方法能够在计算资源受限的临床环境中高效部署，满足实时或近实时诊断的需求，具有良好的实际应用前景。

1.一种基于非对称特征交互的医学图像分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于非对称特征交互的医学图像分类方法，其特征在于，所述混合块包含卷积层和特征交互块，特征交互块的实现如下：

3.根据权利要求2所述的基于非对称特征交互的医学图像分类方法，其特征在于，所述步骤2.1具体实现为：输入图像经过卷积投影后，对于输入特征图，先输入内容复杂度估计器得到通道复杂度；

4.根据权利要求3所述的基于非对称特征交互的医学图像分类方法，其特征在于，所述内容复杂度估计器由全局池化与连续的轻量化子网络构成。

5.根据权利要求4所述的基于非对称特征交互的医学图像分类方法，其特征在于，所述步骤2.2具体实现为：通过空间特征提供的空间上下文优化语义特征学习，同时让语义特征的语义响应引导空间表征中的通道重加权，双向引导融合：

6.根据权利要求5所述的基于非对称特征交互的医学图像分类方法，其特征在于，所述步骤2.3具体实现为：通过可变形感受野机制并行提取两类特征：

7.一种基于非对称特征交互的医学图像分类系统，用于实现权利要求1至6任一所述的医学图像分类方法，其特征在于，包括以下模块：