一种基于术前多模态数据的心脏术后认知功能障碍预测方法与系统
本发明涉及临床医学与人工智能,尤其涉及一种基于术前多模态数据的心脏术后认知功能障碍预测方法与系统。
背景技术:
1、术后认知功能障碍(postoperative cognitive dysfunction,pocd)是冠状动脉旁路移植术后较常见的神经系统并发症,主要表现为记忆、注意和执行功能下降。现有报道中,该并发症的发生率约为20%~50%,在年龄较大的患者中更为常见。发生pocd后,患者住院时间和后续照护需求往往增加,远期生活质量也会受到影响。因此,术前识别高风险患者具有实际临床意义。
2、临床上通常使用简易精神状态检查量表(mmse)或蒙特利尔认知评估量表(moca)比较患者手术前后的认知变化。病房实际评估还会受到疼痛、睡眠、镇静药物和患者配合程度的影响。因此,量表适合用于确认术后认知变化,但不能替代术前风险判断。
3、脑部mri能够较清楚地显示海马、额叶皮层等脑组织结构,但检查时间较长,部分心脏外科患者还存在mri禁忌。平扫ct更容易在术前获得,不过其软组织对比度较低,颅骨高密度信号又容易干扰网络训练,若直接把常规三维卷积网络用于ct,模型可能更多关注颅骨边缘,而不是与认知功能有关的脑实质变化,难以实现术后认知功能障碍风险精准预测。心脏外科患者的术前脑部影像往往不是专为认知研究采集,有些病例因既往脑血管病完成ct,有些病例另有mri,检查日期、扫描层厚和重建方式也可能不同。
4、当前基于影像数据进行pocd预测方法仍存在以下不足:
5、(1)影像模态单一:现有方法多依赖mri或ct单一影像模态,缺乏同时适配ct和mri两种常规术前影像的技术方案。临床实践中,部分患者仅有ct影像(因mri禁忌或设备限制),部分患者有mri影像,而现有技术无法灵活适配不同模态的输入数据。若只接受一种影像,会排除相当一部分病例;分别建立多套模型,又会增加训练和维护成本。ct和mri也不能照搬同一套预处理。ct需要减少颅骨高密度区域的影响,mri则要处理多序列之间的配准和强度差别。
6、(2)特征提取网络未针对影像模态特性优化:对于ct影像的低对比度特性,现有三维卷积网络难以有效激活pocd相关脑区的微弱特征响应;对于mri影像的多序列特性,现有方法未能充分利用t1wi、t2wi、flair不同序列间的互补信息。
7、(3)多模态融合机制简单:现有方法多采用特征向量拼接或简单加权融合,缺乏有效的跨模态语义交互机制,不能充分建模影像特征与临床指标之间的深层关联,导致融合特征的表达能力受限。
8、(4)临床资料中还常见检查项目不齐或采血时间不完全一致的情况,这类资料更接近真实应用环境,也使模型不能只按单一、整齐的数据来源设计。如果对影像与临床资料的关系只采用简单拼接表示,某项炎症指标或神经损伤指标发生变化时,风险评估结果依据的是海马、额叶还是其他位置,简单拼接的全局向量无法体现精准展现这些变化。
9、因此,亟需一种基于术前多模态数据的心脏术后认知功能障碍预测方法与系统,以临床信息对影像特征的进行动态引导,提升多模态特征融合质量,提高心脏手术的术后认知功能障碍预测准确性和精细度。
技术实现思路
1、鉴于上述的分析,本发明实施例旨在提供一种基于术前多模态数据的心脏术后认知功能障碍预测方法与系统,用以解决现有技术中多模态融合缺乏有效的跨模态语义交互机制、融合特征表达能力受限,术后认知功能障碍预测准确度不足的问题。
2、一方面,本发明实施例提供了一种基于术前多模态数据的心脏术后认知功能障碍预测方法,包括:
3、获取手术患者的术前多模态数据;其中,所述术前多模态数据包括术前医学影像数据、术前临床实验室指标数据、术前人口学信息和术前合并症信息;
4、对所述术前多模态数据进行特征提取,获取对应的影像深度特征、临床深度特征;
5、基于所述临床深度特征和所述影像深度特征计算交叉注意力权重,根据所述交叉注意力权重对所述影像深度特征进行特征增强,获取对应的影像引导增强特征;
6、对所述临床深度特征和所述影像引导增强特征进行特征融合,生成融合增强特征;
7、基于所述融合增强特征进行分类计算,确定所述手术患者对应的术后认知功能障碍风险预测结果。
8、进一步地,对所述术前多模态数据进行特征提取,获取对应的影像深度特征、临床深度特征,包括:
9、利用影像特征提取网络对所述术前医学影像数据进行影像特征提取,获取对应的影像深度特征;其中,所述影像特征提取网络包括依次连接的初始卷积层、多层残差卷积层;每层所述残差卷积层包括残差模块、通道注意力模块、空间注意力模块;
10、利用临床特征提取网络对所述术前临床实验室指标数据、所述术前人口学信息和所述术前合并症信息进行临床特征提取,获取对应的临床深度特征;其中,所述临床特征提取网络包括特征嵌入层和多层transformer编码器。
11、进一步地,获取手术患者的术前多模态数据之后,还包括:
12、对所述术前多模态数据进行预处理;
13、其中,所述术前医学影像数据包括术前ct影像数据和/或术前mri影像数据;所述预处理包括以下步骤的一项或多项:
14、对所述术前ct影像数据进行第一预处理,得到预处理后的所述术前ct影像数据;其中,所述第一预处理包括空间标准化和灰度归一化;
15、对所述术前mri影像数据进行第二预处理,得到预处理后的所述术前mri影像数据;其中,所述第二预处理包括偏置场校正、所述空间标准化和强度归一化;
16、对所述术前临床实验室指标数据进行第三预处理,得到预处理后的所述术前临床实验室指标数据;其中,所述第三预处理包括数据清洗和/或数据补齐;
17、对所述术前人口学信息、所述术前合并症信息进行第四预处理,得到预处理后的所述术前人口学信息、预处理后的所述术前合并症信息;其中,所述第四预处理包括数据标准化和变量编码。
18、进一步地,利用影像特征提取网络对所述术前医学影像数据进行影像特征提取,获取对应的影像深度特征,包括:
19、将所述术前医学影像数据输入所述初始卷积层进行第一特征提取,获取对应的影像基础特征图;
20、将所述影像基础特征图输入所述多层残差卷积层进行第二特征提取,获取对应的所述影像深度特征。
21、进一步地,所述第二特征提取包括多次残差卷积处理,每层所述残差卷积层通过残差卷积处理生成对应的单层影像特征图,将最后一层所述残差卷积层对应的所述单层影像特征图作为所述影像增强特征图;
22、每层所述残差卷积层通过以下步骤生成对应的所述单层影像特征图:
23、所述残差模块对所述残差卷积层对应的输入影像特征图进行卷积处理,生成影像卷积特征图;
24、所述通道注意力模块计算所述影像卷积特征图对应的通道注意力权重,根据所述通道注意力权重对所述影像卷积特征图进行通道增强,生成对应的影像通道增强特征图;
25、利用所述空间注意力模块计算所述影像通道增强特征图对应的空间注意力权重,根据所述空间注意力权重对所述影像通道增强特征图进行空间增强,生成对应的所述单层影像特征图。
26、进一步地,利用临床特征提取网络对所述术前临床实验室指标数据、所述术前人口学信息和所述术前合并症信息进行临床特征提取,获取对应的临床深度特征,包括:
27、利用所述特征嵌入层将所述术前临床实验室指标数据、所述术前人口学信息和所述术前合并症信息映射为临床基础特征;
28、利用所述多层transformer编码器对所述临床基础特征进行编码处理,生成所述临床深度特征。
29、进一步地,所述影像引导增强特征表示为:
30、为,式中,表示函数,表示查询向量,基于所述临床深度特征确定,、依次表示键向量、查询向量,基于所述影像深度特征确定,表示的转置向量,表示特征维度。
31、进一步地,对所述临床深度特征和所述影像引导增强特征进行特征融合,生成融合增强特征,包括:
32、计算所述临床深度特征和所述影像引导增强特征对应的门控系数;
33、利用所述门控系数对所述临床深度特征和所述影像引导增强特征进行加权融合,生成所述融合增强特征。
34、进一步地,还包括:
35、基于所述术后认知功能障碍风险预测结果、基准shap值计算所述术前医学影像数据对应的shap值图,将所述shap值图与所述术前医学影像数据进行叠加,生成所述手术患者对应的归因热图。
36、另一方面,本发明实施例提供了一种基于术前多模态数据的心脏术后认知功能障碍预测系统,包括:
37、数据获取模块,用于获取手术患者的术前多模态数据;其中,所述术前多模态数据包括术前医学影像数据、术前临床实验室指标数据、术前人口学信息和术前合并症信息;
38、特征提取模块,用于对所述术前多模态数据进行特征提取,获取对应的影像深度特征、临床深度特征;
39、特征增强模块,用于基于所述临床深度特征和所述影像深度特征计算交叉注意力权重,根据所述交叉注意力权重对所述影像深度特征进行特征增强,获取对应的影像引导增强特征;
40、特征融合模块,用于对所述临床深度特征和所述影像引导增强特征进行特征融合,生成融合增强特征;
41、风险预测模块,用于基于所述融合增强特征进行分类计算,确定所述手术患者对应的术后认知功能障碍风险预测结果。
42、与现有技术相比,本发明至少可实现如下有益效果之一:
43、1、基于术前多模态数据进行术后认知功能障碍(postoperative cognitivedysfunction, pocd)预测,能够在术前准确识别术后认知功能障碍高风险患者并实施针对性的脑保护策略,有助于改善患者预后、降低患者医疗负担;基于临床深度特征和影像深度特征计算交叉注意力权重,对影像深度特征进行特征增强,实现了临床指标(以临床深度特征表征)对影像特征(以影像深度特征表征)的动态引导,能够根据手术患者的术前具体临床状况(如il-6水平、年龄等)自适应地关注影像中最相关的脑区,能够有效提升多模态特征融合质量,提高术后认知功能障碍预测准确性和精细度。
44、2、本技术的影像特征提取网络可以同时适配术前脑部平扫ct和mri两种常规影像模态,可根据患者实际完成的术前检查灵活选择影像输入,数据可获得性接近100%,解决了现有方法因影像模态限制导致的临床应用壁垒。针对ct影像软组织对比度低的固有局限,通过颅骨约束配准、脑窗截断归一化、大卷积核空间注意力及颅骨区域屏蔽组成的专门优化策略,有效提升了低对比度术前ct影像数据中术后认知功能障碍相关微弱结构特征的可分性;针对mri影像多序列软组织对比度高的优势,通过精细卷积核和临床指标引导的注意力机制,精准定位术前mri影像数据中的术后认知功能障碍敏感区域(如海马体、额叶皮层),进而实现针对模态特征的深度优化特征提取、充分发挥不同影像模态的临床价值。
45、3、通过以临床深度特征为查询向量、以影像深度特征为键向量和值向量,采用交叉注意力机制计算交叉注意力权重,并对影像深度特征进行特征增强,能够根据患者的具体临床状况(如il-6水平、年龄等)自适应地对影像深度特征中涉及术后认知功能障碍敏感区域的特征进行特征增强,使得分类计算过程能够关注术前医学影像数据中最相关的脑区,提升跨模态语义交互融合的有效性;结合门控融合机制和独立梯度路径设计,进一步提升了融合质量。
46、4、术后认知功能障碍风险预测结果包括三级风险概率,可以为临床医师制定差异化的围术期管理策略提供了更精细的决策依据;通过shap方法与aal模板脑区定位的结合,能够生成个体化的风险归因热图,直观显示各脑区对术后认知功能障碍风险预测的贡献度,显著提升了预测结果的临床可接受度和可信度。
47、本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com