基于Transformer与DLCT多模态融合的LA气道播散智能辅助诊断方法及系统

摘要: 本发明属于空气腔播散(stas)预测的,具体涉及一种基于transformer与dlct多模态融合的la气道播散智能辅助诊断方法及系统。背景技术:1、非小细胞肺...
基于Transformer与DLCT多模态融合的LA气道播散智能辅助诊断方法及系统

本发明属于空气腔播散(stas)预测的,具体涉及一种基于transformer与dlct多模态融合的la气道播散智能辅助诊断方法及系统。

背景技术:

1、非小细胞肺癌(nsclc)是全球范围内癌症相关发病和死亡的主要原因,其中肺腺癌(la)是最常见的组织学亚型。空气腔播散(stas)作为非小细胞肺癌的重要侵袭模式,其发生率在28.2%至51.4%之间,且与患者无复发生存期(rfs)缩短、总生存期(os)降低密切相关,是影响肺癌患者预后评估与临床治疗方案制定的关键因素。因此,术前或病理诊断前实现对stas状态的精准识别,对肺癌的个体化诊疗具有重要的临床意义。

2、双层光谱ct(dlct)作为一种先进的医学影像检测技术,能够在不增加患者辐射剂量的前提下完成高质量扫描,并可重建出一系列功能性影像,突破了传统ct仅能提供解剖学信息的局限。现有研究证实,dlct从动脉期(ap)和静脉期(vp)重建得到的40kev虚拟单能量图像(40kev-vmi)、碘浓度(ic)图等衍生特征,在预测肺癌肿瘤恶性程度及侵袭模式方面展现出潜在价值。同时,肺癌的多项临床语义特征,如患者临床病理指标、ct影像形态学特征等,也被证实与stas状态存在关联,可作为stas识别的辅助依据。

3、但目前针对stas预测的技术研究仍存在显著局限性:其一,现有技术多聚焦于单一模态数据的分析应用,或仅采用dlct衍生影像特征,或仅依赖临床语义特征,尚未实现dlct影像特征与临床语义特征的多模态融合,难以全面捕捉stas发生的复杂生物学机制,导致预测结果的准确性和鲁棒性不足,无法满足临床精准决策的需求;其二,在影像特征分析领域,传统深度学习模型虽能实现自动化特征提取,但难以有效捕捉肿瘤异质性的复杂空间关系和全局上下文信息。

4、近年来,基于transformer框架的深度学习模型凭借多头注意力机制,能够跨多尺度、多解剖区域捕获复杂的空间关联,在突出关键特征的同时保留全局语境信息,为医学影像的精准建模提供了新的技术路径。然而,截至目前,尚未有研究将transformer框架与dlct技术相结合,构建针对stas的深度学习预测模型,更缺乏一种整合dlct深度学习特征与临床语义特征、基于transformer的多模态概率模型,用于实现stas的高效、精准预测。

5、综上,现有stas预测技术无法有效解决多模态数据异构性、模态鸿沟及特征融合不精准的核心问题,导致预测性能不足,难以满足临床术前精准评估需求。具体而言,现有技术多采用单一模态(仅dlct影像或仅临床信息)进行建模,未实现dlct多期相影像、功能影像(碘图等)与临床语义特征的深度融合;即便有少量尝试多模态融合的技术,也未针对影像与临床文本的异构性设计有效的对齐机制,存在融合噪声大、特征空间失配的问题,无法充分挖掘不同模态数据的互补价值,难以全面刻画肿瘤异质性,最终导致stas预测的准确性、鲁棒性不足,无法为临床个体化手术方案制定提供可靠支撑。

6、此外,现有技术中还存在以下技术问题:

7、(1)影像特征提取效率与精准度失衡:现有技术中,要么采用复杂的3d深度学习网络进行影像特征提取,导致模型计算量大、训练效率低,难以适配临床快速诊断需求;要么采用简单的特征提取方法,无法有效捕捉肿瘤病灶的细微特征(如瘤内血管生成、边界细节),尤其缺乏针对病灶区域的精准增强机制,背景干扰严重,进一步影响特征提取的精准度。

8、(2)临床文本特征难以有效编码与利用:现有技术无法对非结构化临床信息(如影像学征象、临床分期、吸烟史等)进行标准化处理和高效编码,要么直接丢弃部分关键临床特征,要么采用简单的数值化转换方式,无法充分挖掘临床文本中的语义信息,导致临床特征的预测价值未被充分发挥,且难以与影像特征进行有效融合。

9、(3)多模态融合策略缺乏层次性与适应性:现有多模态融合技术多采用简单的特征拼接方式,未针对dlct影像“结构-功能”特征对(单能量图与碘图)、不同时相(动脉期与静脉期)影像的时序互补性设计层次化融合策略,无法实现特征的自适应权重分配和深度交互,导致融合特征的判别性不足,无法精准捕捉stas发生相关的肿瘤微环境变化。

10、(4)模型泛化能力与临床适配性差:现有模型未充分考虑临床数据的多样性(如不同医院、不同扫描设备的dlct影像差异),缺乏有效的数据标准化和噪声抑制机制,导致模型在不同临床队列中的泛化能力不足;同时,模型结构复杂、可解释性差,难以被临床医生理解和应用,无法满足临床实际诊疗的便捷性需求。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于transformer与dlct多模态融合的la气道播散智能辅助诊断方法及系统。

2、为了达到上述目的,本发明采用以下技术方案:

3、本发明的一个方面,提供了一种基于transformer与dlct多模态融合的la气道播散智能辅助诊断方法,包括下述步骤:

4、采集不同模态的dlct影像,包括动、静脉期ct图像及对应的ic图;采集原始临床数据并提取得到原始临床文本语义特征;

5、对不同模态的dlct影像进行病灶增强、标准化处理,提取各个模态的dlct影像的深度特征,并进行层次化融合得到影像融合特征;所述层次化融合包括:特征对均值对齐、多头自注意力特征融合、特征重标定以及自适应权重时序融合;

6、对原始临床文本语义特征进行重要性评估,筛选核心特征集并转化为标准化文本,编码为语义向量;

7、对影像融合特征与语义向量进行文本特征降维、跨模态注意力对齐以及特征融合,得到最终融合特征;

8、将最终融合特征输入分类头,输出stas恶性概率预测值。

9、作为优选的技术方案,选用40kev的动、静脉期ct图像及对应的ic图作为输入数据集。

10、作为优选的技术方案,所述病灶增强采用基于平滑掩模的加权融合、基于形态学的病灶增强或基于基于深度学习的端到端病灶增强;

11、所述基于平滑掩模的加权融合具体为:对dlct影像进行肿瘤分割,得到肿瘤区域的分割掩模m;对分割掩模m进行平滑处理;将原始的dlct模态影像与平滑掩模处理后的dlct模态影像进行加权融合;

12、所述基于形态学的病灶增强具体为:采用三维形态学顶帽变换或底帽变换,结合预设的结构元素,提取病灶区域局部的高亮特征;

13、所述基于基于深度学习的端到端病灶增强具体为:采用肿瘤区域分割模型直接对原始dlct影像进行分割,并利用分割结果作为注意力图,通过可微分的空间注意力机制嵌入到特征提取网络中。

14、作为优选的技术方案,所述提取各个模态的dlct影像的深度特征,具体包括以下步骤:

15、将标准化后的不同模态的dlct影像输入特征提取网络进行编码,得到不同模态对应的深度特征表示;

16、所述特征提取网络采用3d resnet网络、3d efficientnet、3d mobilenet或3dshufflenet中的一种。

17、作为优选的技术方案,所述层次化融合具体为:

18、对每一组特征对进行均值对齐,所述特征对具体为:虚拟单能量图像与碘浓度图像;

19、构建多头自注意力模块,包括若干个注意力头以及用于将注意力头的输出进行拼接的拼接层、全连接层和relu激活函数;将均值对齐后的每组特征对分别重塑为序列形式,输入多头自注意力模块,得到动脉期融合特征和静脉期融合特征;

20、将动脉期融合特征和静脉期融合特征分别输入3d se模块或3d卷积注意力模块,得到自适应特征重标定;

21、分别对动脉期融合特征与静脉期融合特征进行自适应融合,得到最终的影像融合特征;所述自适应融合采用可学习权重的融合、基于注意力池化的transformer编码器融合或基于循环神经网络的融合中的一种。

22、作为优选的技术方案,所述对原始临床文本语义特征进行重要性评估,筛选核心特征集,具体为:

23、采用以下评估方法中的一种或多种得出重要性得分:

24、1)基于随机森林算法计算各个临床特征的基尼重要性得分;

25、2)结合anova f检验、互信息分析及皮尔逊相关系数分析,预测各个临床特征的重要性得分;

26、3)使用随机森林或xgboost预训练一个分类器,得到重要性得分;

27、4)将原始临床文本语义特征直接输入mlp或transformer,利用注意力机制或特征选择层自动学习权重,得到重要性得分;

28、其中,当采用多种评估方法时,对各个评估方法得出的重要性得分进行归一化处理,融合得到最终的重要性得分;

29、按重要性得分从高到低排序,筛选出前n个临床特征作为核心特征集。

30、作为优选的技术方案,所述转化为标准化文本,编码为语义向量,具体为:

31、依据临床诊疗规范与医学术语标准将核心特征集转化为标准化描述;

32、采用临床文本编码器对标准化描述的核心特征集进行文本特征向量提取,并执行归一化处理,得到语义向量。

33、作为优选的技术方案,所述对影像融合特征与语义向量进行文本特征降维、跨模态注意力对齐以及特征融合,得到融合特征,具体为:

34、对语义向量进行降维处理;

35、将降维后的语义向量作为查询,影像融合特征作为键和值,输入多头注意力层,将注意力头的输出结果进行拼接,通过残差连接和层归一化处理,得到对齐后的语义向量;

36、将对齐后的语义向量与影像融合特征在通道维度上进行融合,得到最终融合特征。

37、作为优选的技术方案,采用对比学习框架、生成式预训练框架或多任务学习框架进行不同模态的特征融合。

38、本发明的另一个方面,还提供了一种基于transformer与dlct多模态融合的la气道播散智能辅助诊断系统,应用于上述的基于transformer与dlct多模态融合的la气道播散智能辅助诊断方法,包括数据采集处理模块、影像特征提取模块、语义特征重要性评估模块、特征融合模块以及恶性概率预测模块;

39、所述数据采集处理模块用于采集不同模态的dlct影像,包括0-120kev的动、静脉期ct图像及对应的ic图;采集原始临床数据并提取得到原始临床文本语义特征;

40、所述影像特征提取模块用于对不同模态的dlct影像进行病灶增强、标准化处理,提取各个模态的dlct影像的深度特征,并进行层次化融合得到影像融合特征;所述层次化融合包括:特征对均值对齐、多头自注意力特征融合、特征重标定以及自适应权重时序融合;

41、所述语义特征重要性评估模块用于对原始临床文本语义特征进行重要性评估,筛选核心特征集并转化为标准化文本,编码为语义向量;

42、所述特征融合模块用于对影像融合特征与语义向量进行文本特征降维、跨模态注意力对齐以及特征融合,得到最终融合特征;

43、所述恶性概率预测模块用于将最终融合特征输入分类头,输出stas恶性概率预测值。

44、本发明与现有技术相比,具有如下优点和有益效果:

45、(1)本发明采用轻量化3dresnet替代传统的标准3dcnn或过深的resnet结构,在保证特征提取精准度的前提下,显著提升了计算效率。实验表明,与标准3dresnet50相比,本方案采用的轻量化3dresnet具有以下有益效果:1)计算量降低:模型参数量减少约35%,浮点运算数降低约32%,单例推理时间缩短至原来的65%,满足临床快速诊断的需求。2)精准度保持:在内部验证集上,采用轻量化网络后的影像特征区分度(通过后续分类任务的auc值衡量)与标准网络相比无统计学显著差异(p>0.05),表明轻量化设计未牺牲特征提取的准确性,成功实现了效率与精准度的平衡。

46、(2)本发明的临床文本标准化与clip编码方案,有效解决了非结构化临床文本语义异构、难以量化利用的痛点,实现了临床文本数据的高效转化与深度利用,为多模态风险预测提供了高质量的语义特征支撑,具体效果如下:1)语义保留完整且表达丰富:相较于传统独热编码、tf-idf等文本处理方法,clip预训练模型具备强大的语义理解能力,能够精准捕捉临床描述中的深层语义关联(如“吸烟史40包年”与“慢性阻塞性肺病”在语义空间中的距离更近,“实性结节”与“毛刺征”的语义关联性被有效挖掘),避免了传统方法无法捕捉语义信息、特征表达单一的缺陷,显著丰富了临床文本的特征表征维度。2)信息利用率大幅提升:通过多维度特征筛选锁定与stas预测强相关的核心临床指标,再经标准化处理与风险增强标注,既剔除了冗余噪声信息,又强化了风险特征的表征;引入文本模态后,模型可有效利用影像模态中无法直接获取的患者全局临床信息(如长期吸烟史、临床分期、年龄等),与影像特征形成互补,为stas术前预测提供了更全面的证据支撑,弥补了单一影像模态对患者临床背景信息捕捉不足的短板。3)编码效率与适配性优异:clip模型(vit-b/32架构)的预训练优势,无需额外大量标注临床文本数据,即可实现文本的快速编码,生成的512维标准化语义向量,经l2归一化处理后具备统一数值量级,可直接与影像融合特征进行跨模态对齐,大幅提升了多模态融合的效率与兼容性;同时,标准化文本构建与风险增强标注,进一步降低了文本语义的异构性,提升了模型对不同临床病历文本的适配能力。

47、(3)本发明的层次化融合策略相较于简单的特征拼接或晚期融合,充分挖掘了多模态影像的内在价值,提升了融合特征的判别性:1)“结构-功能”互补利用:通过均值对齐消除模态偏差后,多头自注意力机制实现了ct(结构)与碘图(功能)特征的深度交互。消融实验显示,引入该交互步骤后,模型auc提升约4.2%,证明了“结构-功能”特征对互补信息的有效利用。2)特征判别性增强:3d se模块的特征重标定机制,使模型聚焦于与stas相关的特征通道。通过可视化通道权重发现,与肿瘤边缘不规则性、内部坏死相关的通道被赋予更高权重,无关的噪声通道被抑制。3)多序列序信息整合:自适应权重融合使模型能够根据不同病例的特点,动态调整动脉期与静脉期特征的贡献度。统计分析显示,对于富血供肿瘤,模型赋予动脉期更高的权重;对于延迟强化肿瘤,静脉期权重更高。这种动态适应性是固定权重融合无法实现的。

48、(4)本发明的核心创新点在于通过跨模态注意力机制,实现了影像特征与文本特征在特征空间中的精准对齐与融合,从根本上解决了模态鸿沟问题:1)模态鸿沟有效缩小:采用模态相似度度量(如中心矩差异、最大均值差异mmd)评估对齐效果。经过多头部跨模态注意力对齐后,影像特征与文本特征在共享特征空间中的分布差异较对齐前显著降低,证明两种模态的特征分布趋于一致,为后续融合奠定了良好基础。2)融合噪声得到抑制:相较于直接拼接的融合方式,引入跨模态注意力对齐模块后,模型能够更有效地滤除模态间的无关噪声,保留语义一致的互补信息,从而使分类性能得到提升(分类准确率和auc值均有改善)。3)泛化能力增强:跨模态对齐使模型学习到的是模态间本质的语义关联而非浅层相关,因此对来自不同数据源(如不同型号ct设备、不同医疗机构的临床记录格式)的测试数据具有更好的适应能力,提升了模型的泛化性能和临床适配性。

49、(5)预测性能显著提升:在内部验证集上,本发明整体方案(影像+文本+跨模态对齐)的stas预测auc达到0.805(95%ci:0.764-0.843),优于单一模态方案(dlct模型auc:0.788;文本模型auc:0.739)。

50、(6)术前无创预测实现:本发明仅利用术前常规采集的dlct影像和临床资料,即可实现stas状态的精准预测,使临床医生能够在术前制定更合理的手术方案(如直接选择肺叶切除而非亚肺叶切除),避免因术中冰冻切片假阴性导致的二次手术,具有显著的临床实用价值。

51、(7)模型可解释性增强:通过跨模态注意力权重的可视化,临床医生可以追溯模型决策的依据——即哪些影像区域(注意力热图高亮区)和哪些临床因素(注意力权重高的文本令牌)对stas预测贡献最大,增强了模型在临床实践中的可信度和可接受度。