一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统

摘要: 本发明涉及医学人工智能与计算病理学,更具体的说是涉及一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统。背景技术:1、自身免疫性肝病(aild)...
一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统

本发明涉及医学人工智能与计算病理学,更具体的说是涉及一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统。

背景技术:

1、自身免疫性肝病(aild)是一组由免疫介导的慢性肝脏疾病,主要包括自身免疫性肝炎(autoimmune hepatitis,aih)、原发性胆汁性胆管炎(primary biliarycholangitis,pbc)以及aih-pbc重叠综合征(overlap syndrome,os)。准确的亚型鉴别对治疗方案的制定至关重要:aih以免疫抑制治疗为主,pbc以熊去氧胆酸(udca)为主,而重叠综合征需要联合治疗。

2、目前,aild的诊断主要依赖病理学家对肝穿刺活检组织切片的形态学评估,结合血清学指标(如ama-m2、ana等自身抗体)和生化指标(如alt、ast、alp、ggt等)综合判断。然而,该诊断过程存在以下问题:

3、1.主观性强:不同病理学家对同一切片的判读一致性有限,尤其是对重叠综合征的识别,观察者间一致性(kappa值)通常低于0.6;

4、2.信息整合困难:临床医师需要同时综合形态学特征和多项实验室检查结果,认知负荷高,且缺乏系统化的整合方法;

5、3.重叠综合征识别率低:aih-pbc重叠综合征兼具两种疾病的组织学和血清学特征,传统方法难以准确区分,文献报道的临床识别率仅为30-50%。

6、现有的计算病理学方法主要采用单模态分析策略,即仅利用病理图像信息进行分类,未能充分利用临床实验室检查数据中蕴含的疾病特异性信息。部分研究虽然尝试了多模态融合,但多采用简单的特征拼接(concatenation)策略,未能有效建模病理形态与临床指标之间的深层交互关系。因此,如何提供一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此,本发明提供了一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统,融合全切片病理图像的形态学特征与临床实验室指标,实现自身免疫性肝病三个亚型(aih、pbc、aih-pbc重叠综合征)的精准自动鉴别。

2、为了实现上述目的,本发明提供如下技术方案:

3、一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法,包括以下步骤:

4、s1、对全切片病理图像进行组织分割和图像块提取,使用预训练视觉transformer编码器提取每个图像块的特征向量,得到图像块特征矩阵;

5、s2、获取临床实验室指标并进行缺失值填充和标准化处理,得到标准化临床指标向量;

6、s3、通过门控注意力网络计算图像块特征矩阵中各图像块的注意力权重,并对图像块特征矩阵进行加权聚合,获得切片级病理表征向量;

7、s4、通过多层感知机将临床指标映射为临床嵌入向量;

8、s5、将切片级病理表征向量与临床嵌入向量输入跨模态交叉注意力模块,通过双向多头注意力机制实现病理特征与临床指标特征之间的信息交互,输出融合特征表示;

9、s6、将融合特征表示输入分类器,输出自身免疫性肝病各亚型的预测概率。

10、可选的,s1中预训练的视觉transformer编码器为uni视觉transformer,采用vit-l/16架构,输出维度为1024维的特征向量。

11、可选的,s1中的组织分割采用otsu阈值法将组织区域与背景区域分离。

12、可选的,s2中的临床实验室指标包括抗线粒体抗体m2亚型ama-m2、抗核抗体ana、抗肝肾微粒体1型抗体anti-lkm-1、抗可溶性肝抗原/肝胰抗体anti-sla/lp、丙氨酸氨基转移酶alt、天冬氨酸氨基转移酶ast、碱性磷酸酶alp、γ-谷氨酰转肽酶ggt、总胆红素tbil、免疫球蛋白g igg和免疫球蛋白m igm。

13、可选的,s3具体为:

14、将n×1024维的图像块特征矩阵通过全连接层映射至512维空间,并施加relu激活和dropout正则化;采用门控注意力网络计算每个图像块的注意力权重,门控注意力网络包含两个并行的线性变换分支tanh分支和sigmoid分支,通过逐元素相乘实现门控机制;以注意力权重对图像块特征进行加权求和,得到切片级表征向量。

15、可选的,跨模态交叉注意力模块执行以下操作:

16、将切片级病理表征向量和临床嵌入向量分别线性投射至统一的隐空间,得到投射后的病理特征和投射后的临床特征;以投射后的病理特征作为查询,以投射后的临床特征作为键和值,通过多头注意力机制计算第一注意力输出;以投射后的临床特征作为查询,以投射后的病理特征作为键和值,通过多头注意力机制计算第二注意力输出;将第一注意力输出和所述第二注意力输出进行拼接,并通过包含gelu激活函数和层归一化的前馈网络,生成融合特征表示。

17、可选的,多头注意力机制采用4头注意力,隐空间的维度为128维。

18、可选的,模型的训练过程具体为:

19、将标签平滑交叉熵损失与实例级聚类损失以0.7:0.3的权重比组合作为总损失函数;使用adam优化器对模型参数进行更新,并采用余弦退火学习率调度策略。

20、可选的,训练阶段对图像块特征向量施加标准差为0.01的高斯噪声扰动作为数据增强。

21、一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型系统,应用上述的一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法,包括:

22、图像预处理模块,对全切片病理图像进行组织分割和图像块提取,使用预训练视觉transformer编码器提取每个图像块的特征向量;

23、临床数据处理模块,用于获取临床实验室指标并进行缺失值填充和标准化处理;

24、病理特征聚合模块,与图像预处理模块连接,通过门控注意力网络对图像块特征进行加权聚合,获得切片级病理表征向量;

25、临床特征嵌入模块,与临床数据处理模块连接,通过多层感知机将标准化后的临床指标映射为临床嵌入向量;

26、跨模态融合模块,与病理特征聚合模块、临床特征嵌入模块连接,用于将切片级病理表征向量与临床嵌入向量通过双向多头注意力机制进行信息交互,生成融合特征表示;

27、分类输出模块,与跨模态融合模块连接,基于融合特征表示输出自身免疫性肝病各亚型的预测概率。

28、经由上述的技术方案可知,与现有技术相比,本发明提供了一种基于跨模态交叉注意力融合的自身免疫性肝病病理智能分型方法及系统,具有以下有益效果:本发明首次提出将跨模态交叉注意力机制应用于病理图像与临床指标的融合,auc较特征拼接方法提升3.6个百分点(从0.765提升至0.801);采用弱监督多实例学习框架,仅需切片级标签,无需逐像素标注;双向注意力机制具有可解释性,可通过注意力权重可视化辅助临床理解;在632例多中心数据中,独立外部测试集auc达到0.801±0.017,pbc识别auc达0.833。