一种多模态乳腺超声神经网络融合预测方法及系统

摘要: 本发明涉及医学图像处理与人工智能辅助诊断,特别涉及一种多模态乳腺超声神经网络融合预测方法及系统。背景技术:1、乳腺癌是女性发病率最高的恶性肿瘤,新辅助治疗已成为...
一种多模态乳腺超声神经网络融合预测方法及系统

本发明涉及医学图像处理与人工智能辅助诊断,特别涉及一种多模态乳腺超声神经网络融合预测方法及系统。

背景技术:

1、乳腺癌是女性发病率最高的恶性肿瘤,新辅助治疗已成为局部晚期乳腺癌的标准治疗方案,可使肿瘤降期、提高保乳手术成功率。病理完全缓解是评估新辅助治疗疗效的核心终点指标,与患者长期预后高度相关。目前pcr确诊依赖术后病理检查,无法在治疗过程中提前预判疗效,难以及时调整治疗方案。超声检查具有无创、无辐射、可重复、成本低的优势,是新辅助治疗期间最常用的影像监测手段;剪切波弹性成像可量化病灶组织硬度,与常规灰阶超声的形态学信息形成功能互补,为疗效预测提供多维度影像依据。

2、现有基于超声的乳腺癌新辅助治疗疗效预测方案存在明显局限:多数研究采用单一时相、单一模态的影像特征,难以捕捉病灶在治疗过程中的动态演变规律,预测稳定性与泛化能力不足;部分深度学习方法直接拼接多模态特征,未考虑不同模态、不同治疗时相对pcr预测的贡献差异,特征融合机制简单粗放,无法充分发挥多模态信息的互补价值;此外,多数预测模型仅输出分类结果,缺乏特征贡献度的可视化解释,模型决策过程不透明,临床可解释性差,难以获得临床医生的信任与应用。因此,亟需开发一种融合多模态多时相超声信息、具备自适应特征融合机制与临床可解释性的pcr精准预测方法。

技术实现思路

1、针对现有技术的上述缺陷,本发明的目的在于提供一种多模态乳腺超声神经网络融合预测方法及系统,通过多时相多模态超声数据联合采集、双分支迁移学习特征提取、模态-时相双维度注意力融合、多策略递进式特征筛选及可解释性可视化输出,解决单一模态单时点预测精度低、特征融合机制简单、模型可解释性不足的问题。

2、为了解决上述技术问题,本发明提供如下技术方案:一种多模态乳腺超声神经网络融合预测方法,用于乳腺癌新辅助治疗的pcr疗效预测,包括以下步骤:

3、s1多时相多模态超声数据采集:采集患者新辅助治疗前、治疗2周期后及全周期治疗结束后的乳腺病灶常规二维灰阶超声图像与剪切波弹性成像数据,提取并构建包含病灶形态学特征、边界回声特征、弹性力学特征的多时相多模态初始特征集。

4、s2病灶roi标准化预处理:对各时相、各模态超声图像中的乳腺病灶感兴趣区进行定位裁剪,依次执行尺寸标准化、旋转扩增、噪声扰动及仿射变换增强,得到预处理后的灰阶超声图像集与弹性成像图像集。

5、s3双分支迁移学习特征提取:构建基于resnet50的双分支特征提取网络,采用迁移学习预训练权重初始化网络;将预处理后的灰阶超声图像集与弹性成像图像集分别输入对应分支网络,提取各时相的灰阶超声深度特征与弹性成像深度特征。

6、s4模态-时相双维度注意力融合:构建两级特征注意力融合层,以pcr预测贡献度为优化目标,先在各模态内部计算不同治疗时相的特征权重并完成时相融合,再计算不同模态的权重并完成模态间融合,得到融合深度特征集。

7、s5多策略关键特征筛选:对融合深度特征集依次采用独立样本u检验、spearman相关性分析及lasso回归进行递进式筛选,剔除冗余特征,得到与pcr疗效高度相关的关键深度特征子集。

8、s6分类预测输出:将关键深度特征子集输入分类预测网络,通过全连接层与softmax输出层计算并输出乳腺癌新辅助治疗后病理完全缓解的pcr概率与非病理完全缓解的non-pcr概率。

9、进一步地,步骤s1中,灰阶超声初始特征包括病灶长径、短径、形态规则度、边界清晰度、后方回声衰减及微钙化征象;剪切波弹性成像初始特征包括弹性最大值、弹性平均值、弹性离散度、弹性应变率、弹性比值及弹性区域占比。

10、进一步地,步骤s2中,尺寸标准化为将所有病灶感兴趣区统一裁剪为224×224像素的正方形图像;旋转扩增为以病灶中心为原点,在-30°至+30°范围内以15°为步长进行旋转扩增;噪声扰动为添加高斯白噪声,噪声强度为图像灰度标准差的5%~10%;仿射变换包括平移、缩放及错切变换,变换幅度不超过原图像尺寸的10%。

11、进一步地,步骤s3中,resnet50双分支网络采用在imagenet数据集上预训练的权重进行初始化,冻结前3层卷积参数,对后2层卷积层及全连接层进行微调;灰阶分支网络与弹性分支网络共享网络结构但不共享权重,分别对应输入单通道灰阶图像与经灰度化处理的单通道弹性成像图像。

12、进一步地,步骤s4中,特征注意力融合层包括时相注意力单元与模态注意力单元;时相注意力单元针对每个模态分别计算治疗前、治疗2周期后、全周期治疗后三个时相特征的时序权重,各时相权重之和为1;模态注意力单元通过全局平均池化与两层全连接网络输出灰阶模态与弹性模态的权重占比。

13、进一步地,步骤s5中,递进式特征筛选具体流程为:首先通过独立样本u检验筛选出pcr组与non-pcr组间具有统计学差异的特征,筛选阈值为p<0.05;再通过spearman相关性分析去除与pcr标签相关系数绝对值低于0.3的冗余特征;最后通过lasso回归结合十折交叉验证进行特征选择,保留回归系数非零的特征,得到关键深度特征子集。

14、进一步地,步骤s6中,分类预测网络为两层全连接网络搭配softmax输出层,隐藏层神经元数量为关键深度特征子集维度的1/2,采用dropout比率为0.3抑制过拟合;输出结果以0.5为分类阈值划分pcr与non-pcr预测类别。

15、进一步地,本方法还包括可解释性验证步骤:采用受试者工作特征曲线、曲线下面积、准确率、敏感性及特异性指标评价分类预测性能,并通过grad-cam方法生成病灶预测热力图,标注对pcr预测贡献度最高的病灶子区域,同时输出各模态、各时相特征的权重占比。

16、本发明另一方面提供一种多模态乳腺超声神经网络融合预测系统,用于实现上述预测方法,包括:

17、数据采集模块,用于采集乳腺癌新辅助治疗各阶段的二维灰阶超声图像与剪切波弹性成像数据,并构建多时相多模态初始特征集;

18、图像预处理模块,用于对病灶感兴趣区进行定位裁剪、尺寸标准化及数据增强处理;

19、双分支特征提取模块,内置基于迁移学习的resnet50双分支网络结构,分别提取灰阶超声与弹性成像的多时相深度特征;

20、注意力融合模块,用于通过模态-时相双维度注意力机制对多分支深度特征进行加权融合;

21、特征筛选模块,用于通过u检验、spearman相关性分析及lasso回归的多统计策略递进筛选得到关键深度特征;

22、分类预测模块,用于输出pcr与non-pcr的预测概率及分类结果。

23、进一步地,所述系统还包括可解释性可视化模块,采用grad-cam算法生成病灶区域的预测热力图,标注对pcr预测贡献度最高的病灶子区域,并输出各模态、各时相特征的权重占比分析报告。

24、本技术实施例中提供的一个或多个技术方案,对比现有技术而言至少具有如下技术效果或优点:

25、1.采集治疗前、治疗2周期后、全周期治疗后三个关键时间点的灰阶超声与剪切波弹性成像数据,融合形态学征象与弹性力学特征,捕捉病灶在治疗过程中的动态变化规律,突破单一时点、单一模态的信息局限,为疗效预测提供更全面的影像依据。

26、2.采用结构独立、参数独立的resnet50双分支网络分别提取两种模态的深度特征,基于大规模自然图像预训练权重进行迁移学习,冻结浅层、微调深层,有效解决医学影像样本量不足的问题,同时保留不同模态的特征特异性。

27、3.构建时相-模态两级注意力机制,自适应学习不同治疗时相、不同影像模态对pcr预测的贡献度,替代传统的简单特征拼接方式,提升融合特征的判别能力与模型泛化性。

28、4.通过u检验、spearman相关性分析、lasso回归三步递进筛选,从统计学差异、相关性、稀疏性多个维度剔除冗余噪声特征,保留核心判别特征,降低模型过拟合风险,提升预测结果的稳定性。

29、5.结合grad-cam生成病灶预测热力图,直观展示模型决策关注的病灶区域,同时输出各模态、各时相的特征权重占比,让模型决策过程可解释、可追溯,提升临床接受度,辅助医生制定个体化治疗方案。

30、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。