基于双向语义耦合与跨模态注意力融合的乳腺癌诊断方法

本发明涉及医学影像分析，尤其涉及一种基于双向语义耦合与跨模态注意力融合的乳腺癌诊断方法。

背景技术：

1、目前乳腺癌智能辅助诊断技术已逐步应用于临床筛查与诊断场景，但现有方案在真实诊疗落地过程中仍存在多维度应用缺陷，难以适配乳腺疾病诊断的临床实际需求。其主要缺陷表现在：

2、1.单模态特征提取的临床适配性不足，难以为精准诊断提供可靠特征基底。乳腺超声影像特征提取多依赖传统卷积神经网络，受限于局部感受野机制，无法有效建模病灶边缘、内部回声与周围腺体组织的长距离空间依赖；部分套用通用 transformer 架构的方案未针对乳腺病灶特性优化，对致密型乳腺背景下的微小病灶捕获能力薄弱。临床文本特征提取多采用通用预训练语言模型，缺乏乳腺专科医学语料的深度适配，特征冗余度高、关键检验与病史信息权重偏低，无法为多模态融合提供高质量语义支撑。

3、2.医学异构特征无效对齐问题突出，易引入语义噪声稀释诊断价值。现有跨模态融合方案大多停留在特征拼接、简单加权的浅层融合阶段；少数引入注意力机制的方案采用通用单向或双向架构，未针对乳腺诊断的医学语义构建专属对齐约束，易产生无意义跨模态关联，稀释核心诊断特征权重，无法建立影像视觉空间与文本语义空间的双向闭环耦合，模态间语义鸿沟难以有效消解。

4、3.跨机构泛化与复杂场景适配能力不足，临床落地瓶颈明显。现有模型多采用单一正则化策略，仅能解决同分布数据下的过拟合问题，无法适配不同医疗机构的设备参数、扫查手法带来的数据异质性，跨中心测试时诊断准确率衰减显著。同时现有多模态模型普遍要求双模态数据完整输入，未针对单模态缺失、字段不全等临床常见场景设计兼容机制，数据不完备时诊断可靠性大幅下降，难以适配门诊复杂多样的数据条件。此外，现有融合模型多为黑盒结构，缺乏临床可解释性，难以获得医师采信，难以真正融入诊疗流程。

技术实现思路

1、本发明目的是针对上述问题，提供一种基于双向语义耦合与跨模态注意力融合的乳腺癌诊断方法。形成多模态数据构建、数据预处理、图像与文本特征提取、跨模态特征增强、跨模态注意力融合、联合优化训练及智能诊断输出的完整技术流程。

2、为了实现上述目的，本发明的技术方案是：

3、一种基于双向语义耦合与跨模态注意力融合的乳腺癌诊断方法，包括以下步骤：

4、s1、采集多模态数据以形成多模态乳腺癌数据集并对多模态乳腺癌数据集进行数据预处理；

5、s2、采用vit架构对乳腺超声影像进行图像编码；针对临床文本数据，采用医学领域预训练medbert模型进行文本语义编码；

6、s3、对影像与文本特征分别执行dropout随机失活与弹性网络稀疏约束的双策略正则化校准；

7、s4、采用模态内“自注意力提纯+模态间双向交叉注意力耦合”的两级混合注意力机制，实现视觉特征空间与文本语义空间的细粒度双向对齐与深度语义耦合，生成多模态融合特征；

8、s5、构建影像单模态、文本单模态、多模态耦合三分支诊断结构；通过自适应加权投票机制融合三分支输出的分类概率，生成最终诊断结果。

9、作为对上述技术方案的改进，所述步骤s1中，多模态数据包括乳腺超声影像数据与患者临床文本数据；所述患者临床文本数据包括病史、检验指标、人口学信息；所述数据预处理为对数据集执行统一标准化预处理。

10、作为对上述技术方案的改进，所述步骤s2的具体步骤为：

11、s201.vit架构对乳腺超声影像的全局特征编码，将预处理后的乳腺超声影像划分为固定尺寸的非重叠图像块，经线性投影与可学习位置嵌入后输入多层transformer编码器，通过自注意力机制建模病灶与周边腺体组织的长距离空间依赖关系，精准捕获病灶形态、纹理、钙化分布等核心视觉特征，数学表达式为：

12、；

13、其中，为分类标记向量，用于聚合全局特征信息；为第个超声影像图像块；为线性嵌入权重矩阵；为图像块总数量；为可学习位置编码向量，用于保留影像空间位置特性；

14、s202.transformer编码器通过并行计算多个子空间的特征关联全面挖掘影像全局语义信息，自注意力计算公式为；

15、多头自注意力的表达式为；

16、其中，分别为查询、键、值特征向量；为键向量维度；为注意力头数；为输出投影权重矩阵。经vit编码后输出乳腺超声影像基础视觉特征；

17、s203. 采用医学领域预训练medbert模型完成临床文本的深度语义编码，对预处理后的临床文本进行专业分词与语义规整，构建词嵌入、位置嵌入与段嵌入的融合特征表征，经多层transformer编码器深度捕获临床文本中病史、症状、检验指标等核心医学上下文语义关联，生成具备专业判别性的文本全局特征。

18、作为对上述技术方案的改进，所述步骤s3的具体步骤为：

19、s301.对双模态编码输出的特征分别执行dropout随机失活正则化与弹性网络稀疏约束正则化的双策略组合校准；dropout正则化的计算公式为：

20、；

21、其中，为超声或文本单模态输入特征；为神经元保留概率；为元素级乘法运算；为伯努利分布生成的二值掩码；

22、弹性网络正则化，其损失函数计算公式为：；

23、其中，为特征重构损失；为l1正则化系数、为l2正则化系数；为l1范数、为l2范数。

24、s302.将dropout随机失活正则化和弹性网络正则化优化后的特征进行维度拼接，经线性层与激活函数映射，得到单模态校准特征；

25、其中，、为可学习权重矩阵；、为偏置项；为特征维度拼接操作；为正则化增强后的影像特征，为正则化增强后的文本特征。.

26、作为对上述技术方案的改进，所述步骤s4的具体步骤为：

27、s401、分别对正则化校准后的乳腺超声特征、临床文本特征执行多头自注意力计算，聚焦各模态内部的核心判别特征，强化模态内局部与全局的特征关联，抑制无关噪声干扰，提升单模态特征的任务相关性，为后续跨模态耦合提供高纯度特征输入，输出提纯后的单模态特征、；

28、s402、构建跨模态语义亲和矩阵，量化文本语义token与超声影像patch之间的细粒度语义关联程度，为后续双向耦合提供语义权重依据，实现基于语义相似度的精准对齐；语义度量计算公式为；

29、其中，为跨模态语义亲和矩阵，为文本序列长度，为影像序列长度；、分别为文本、影像特征的维度；

30、s403、基于语义亲和矩阵，构建两组专属跨模态投影矩阵，分别实现文本语义引导视觉特征校准与视觉特征引导文本语义增强的双向空间映射，完成两个异构特征空间的细粒度双向对齐；

31、其中文本引导视觉的映射路径以临床语义为指引强化影像中对应病灶区域的特征权重，视觉引导文本的映射路径以影像征象为依据关联匹配对应的临床语义信息，两路映射互为补充，充分挖掘双模态数据的互补诊断价值，计算公式为：

32、；

33、其中，为本发明定制的跨模态投影矩阵，区别于模态内自注意力投影矩阵，用于实现异构特征空间的维度适配与语义映射；为跨模态注意力键向量维度；为文本语义引导影像特征的交叉融合特征，实现语义空间向视觉空间的映射对齐与特征校准；为影像特征引导文本语义的交叉融合特征，实现视觉空间向语义空间的映射对齐与语义增强；

34、s404.进行双向语义对齐一致性约束，损失计算公式为；其中，为序列维度的全局平均池化操作，用于提取双向映射特征的全局语义向量；为l2范数平方，用于度量两个全局语义向量的差异；

35、s405. 进行自适应语义耦合门控融合，根据当前输入的双模态特征质量动态调节两路映射特征的融合权重，实现数据驱动的动态语义耦合；门控单元计算公式为：

36、；

37、其中，为sigmoid激活函数，输出范围为[0,1]；、为门控单元的可学习权重与偏置；为自适应门控系数，用于动态平衡文本引导视觉、视觉引导文本两路特征的贡献占比；为元素级乘法运算；为门控融合后的初始耦合特征；

38、s406. 进行耦合特征残差优化，将提纯后的单模态原始特征与耦合特征进行融合优化，既保留跨模态互补信息，又维持单模态核心特征的判别性，最终输出优化后的多模态深度语义耦合特征；

39、其中，、为残差映射的可学习权重矩阵与偏置项，用于实现单模态特征与耦合特征的维度对齐；为输出的多模态深度语义耦合特征。

40、作为对上述技术方案的改进，所述步骤s5的具体步骤为：

41、s501.进行多损失联合优化；以多模态耦合分支的分类损失为主损失，以乳腺超声、临床文本两个单模态分支的分类损失为辅助损失，在此基础上叠加双向语义对齐约束损失，引导双向交叉注意力映射过程中的语义一致性，避免双向映射出现语义偏差，保障跨模态耦合的稳定性与可解释性；总损失计算公式为

42、；

43、其中，为多模态耦合分支交叉熵损失；为乳腺超声单模态分支损失；为临床文本单模态分支损失；为分类损失权重系数，用于平衡主辅分类损失的优化权重；为语义对齐损失权重系数，用于控制双向语义对齐的约束强度；为定义的双向语义对齐一致性损失；

44、s502.各分类分支均采用交叉熵损失函数，计算公式为；

45、其中，为训练样本数量；为乳腺癌分类类别数；为样本真实标签；为模型预测概率值；

46、s503. 采用自适应加权决策机制融合三分支输出的分类概率；

47、多模态语义耦合分支权重占比最高以保障双模态完整输入时的诊断精度，结合输入数据的完整性自动调节权重分配；当临床文本存在字段缺失或质量不佳时，提升影像单模态分支的权重占比；当影像信息有限时，相应强化文本分支的诊断贡献，实现数据驱动的动态决策；

48、最终确定诊断概率计算公式为；

49、其中，、、分别为乳腺影像、临床文本、多模态耦合分支的预测概率；、、为动态自适应权重，满足。

50、与现有技术相比，本发明具有的优点和积极效果是：

51、本发明针对现有乳腺癌多模态诊断方案的临床落地缺陷进行定向优化，在诊断精度、泛化适配性与临床实用性上均实现显著提升。具体表现为：

52、（1）诊断精准度实现实质性提升，有效降低临床漏诊误诊风险。通过医学导向的双向语义耦合机制，解决了通用注意力方案存在的异构特征无效对齐、语义噪声稀释特征价值的问题，实现影像视觉特征与临床文本语义的细粒度双向对齐与深度互补，有效消解跨模态语义鸿沟。相较于浅层融合与通用注意力方案，本发明在乳腺癌良恶性分类核心指标上提升显著，尤其针对致密型乳腺背景下的微小病灶场景，病灶检出召回率大幅提升，漏诊率实现数量级下降，能够为临床诊断提供更可靠的参考依据。

53、（2）模型鲁棒性与泛化能力显著增强，适配临床异质性数据场景。采用面向医疗数据特性设计的双策略正则化校准方案，同步抑制小样本过拟合与跨中心特征域偏移风险，相较于单一正则化方案，模型在跨医疗机构异质数据上的诊断准确率衰减幅度大幅降低，泛化性能得到质的提升。同时三分支联合优化架构具备天然的单模态兼容能力，在临床文本缺失、字段不全等数据不完备场景下，仍可维持稳定诊断性能，性能下降幅度显著降低，能够充分适配门诊复杂多样的诊疗条件。

54、（3）诊断过程贴合临床循证逻辑，具备更强的临床可解释性。双向语义耦合架构可直观对应超声病灶征象与临床病史、检验指标的语义关联，能够为诊断结论提供可追溯的双模态依据，打破传统融合模型的黑盒局限，符合临床医师双向印证的诊断思维，更易获得临床采信，可有效辅助基层医师提升诊断水平，推动优质医疗资源下沉。

55、（4）技术架构扩展性强，具备广阔的临床延伸空间。整体方案采用模块化设计，可灵活扩展纳入乳腺x线、mri等更多影像模态，以及病理、组学等多维度临床数据，延伸支持肿瘤分子分型、预后评估等更多临床任务，具备持续迭代优化的技术潜力。