一种基于多模态数据融合的脑出血预后预测方法及系统

本发明涉及医疗信息处理，尤其涉及基于人工智能和医学影像的脑出血预后预测与临床决策支持技术，具体涉及一种基于多模态数据融合的脑出血预后预测方法及系统。

背景技术：

1、脑出血（intracerebral hemorrhage, ich）是指非创伤性脑内血管破裂导致血液在脑实质内聚集，是脑卒中的一种严重亚型。据统计，脑出血约占全部脑卒中的10%～30%，但其致残率和致死率却远高于缺血性脑卒中。脑出血发病急骤、进展迅速，患者常在发病后数分钟至数小时内出现神经功能缺损的进行性加重，加之血肿扩大、脑水肿、脑积水等并发症频发，使得脑出血的临床管理对时间敏感性和决策精准性要求极高。

2、现有技术中的脑出血预后预测系统，通过深度学习算法，能够自动分析医学影像，从医学影像中自动提取血肿形态学和密度分布等高维特征，并整合临床检验数据和生命体征等结构化信息，进行风险分层分析，从而预测脑出血患者的预后结果。主要包括如下方案：1. 基于ct影像的ich score/ichop评分系统，结合gcs、血肿体积、脑室出血等指标预测死亡率；2. 基于深度学习(3d-cnn)的自动血肿分割及血肿扩大预测方法；3. 基于电子健康数据(ehr)的机器学习预后预测模型。

3、然而，在实际应用中，影响脑出血患者预后情况的因素众多，例如入院前的身体状态，住院时的治疗方案以及出院后的修养情况，然而现有技术仅依靠住院时的医学影像对患者的预后情况进行分析，难以对患者病情进行全面的了解，容易导致预测结果准确性不足。此外，现有评分系统依赖静态入院指标，难以捕捉病程动态演变；单一影像或单一临床模型信息不充分，无法整合治疗干预信息；缺少从预测到治疗建议、执行监督、反馈验证的闭环管理；缺少对手术/保守治疗分支及术后并发症(脑水肿和脑积水)的早期预测。因此，有必要提出了一种基于多模态数据融合的脑出血预后预测方法及系统，以解决上述问题。

技术实现思路

1、为解决上述问题，本发明提供一种基于多模态数据融合的脑出血预后预测方法及系统，通过数据获取与预处理模块的设计，能够根据患者的入院时间，对患者不同时间段的各项数据进行采集，并通过特征提取模块和预测推理模块的设计，对各项数据进行分析，能够综合性的判断患者的病情变化，从而更合理的预测患者的预后结果。

2、本发明具有以下关键技术点：

3、(1)多模态时序对齐与病程阶段聚合；(2)3d-cnn影像特征提取与ct征象识别；(3)lstm生化指标时序编码；(4)跨病程时序动态特征(变化斜率/极值差/波动熵)；(5)多模态特征自适应加权融合；(6)临床决策规则库个体化建议生成；(7)任务调度与执行监督；(8)90天随访在线增量学习反馈。

4、为了实现上述目的，本发明的技术方案如下：一种基于多模态数据融合的脑出血预后预测系统，包括：

5、数据获取与预处理模块，用于获取患者的多模态数据，并将多模态数据按采集时间对齐至统一时间轴，构建多模态时序关联数据组；多模态数据至少包括影像学数据、临床检验数据、病史体格检查数据及治疗干预数据。

6、时间轴中的关键时间节点至少包括入院时(t=0)、入院后6h内、发病24h内、入院后72h内、出院时以及出院后90天。

7、特征提取模块，用于接收多模态时序关联数据组，从多模态时序关联数据组中提取影像学特征集、临床特征集和时序动态特征集。

8、预测推理模块，用于接收影像学特征集、临床特征集和时序动态特征集；预测推理模块还用于通过卷积神经网络模型构建多模态融合预测模型；多模态融合预测模型用于对影像学特征集、临床特征集和时序动态特征集采用跨模态注意力机制进行加权融合得到融合特征向量，基于融合特征向量采用shap值进行特征重要性分析，生成预后预测结果。

9、预测输出模块，用于接收预后预测结果，并基于预后预测结果分析对应的预后处理建议，根据预后预测结果和预后处理建议，生成预后综合报告，并根据患者最新的多模态数据结合预后综合报告，判断患者是否遵循预后综合报告执行各项预后处理，根据各项预后处理的执行情况生成任务调度报告。

10、数据管理模块，用于存储、查询和更新患者的全病程预后综合报告。

11、进一步，数据获取与预处理模块执行时间对齐的具体方式为：

12、以入院时间为基准，将多模态数据的采集时间转换为相对入院时间的偏移量；按预设时间窗口将各多模态数据划分至对应的病程阶段分组，病程阶段分组包括入院阶段、住院阶段和出院阶段；对同一病程阶段内同一模态的多个数据点进行时序聚合，生成该阶段该模态的代表性特征值。

13、进一步，预后预测结果至少包括不良预后风险等级、病情扩大风险等级和并发症发生风险等级；病情扩大风险等级包括血肿扩大风险等级、脑水肿风险等级以及脑积水风险等级。

14、进一步，特征提取模块包括：

15、影像特征提取单元，用于通过三维卷积神经网络分割血肿区域，计算血肿体积、形态学特征和密度分布特征，并对不同时序的影像特征进行差分计算生成血肿动态演变特征；预测推理模块用于根据血肿动态演变特征判断不良预后风险等级。

16、进一步，特征提取模块还包括：

17、临床特征提取单元，用于采用长短时记忆网络编码生化检验指标的时序变化趋势，提取基线特征向量和治疗策略特征向量，并通过多层感知器进行融合编码生成临床特征集；预测推理模块用于根据临床特征集判断并发症发生风险等级。

18、进一步，特征提取模块还包括：

19、时序特征提取单元，用于计算同一特征类型在跨病程阶段的数值变化斜率、极值差和波动熵，获取血肿体积变化、水肿体积变化、中线移位程度、脑室体积变化和evans指数变化数据，生成时序动态特征集；预测推理模块用于血肿体积变化判断血肿扩大风险等级，根据水肿体积变化和中线移位程度判断脑水肿风险等级，根据脑室体积变化和evans指数变化判断脑积水风险等级；血肿扩大风险、脑水肿风险以及脑积水风险等级均包括高风险、中风险和低风险。

20、进一步，预测输出模块包括：

21、决策建议生成单元，用于录入历史预后结果及其处理方案，根据历史预后结果及其处理方案构建临床决策规则库，根据预后预测结果结合临床决策规则库，生成预后建议；预后建议至少包括手术时机建议、并发症预防措施和康复管理方案。

22、进一步，预测输出模块还包括：

23、任务调度单元，根据已执行的预后处理内容生成已执行清单；根据未执行的预后处理内容生成未执行提醒报告。

24、进一步，还包括：

25、反馈验证模块，用于采集患者实际出院90天后的多模态数据，作为实际预后结果，将预后预测结果与实际预后结果进行比对，得到对比结果，并将比对结果作为反馈至预测推理模块；预测推理模块用于根据对比结果更新多模态融合预测模型。

26、采用上述方案的技术原理如下：

27、通过数据获取与预处理模块，以患者入院时间为时间基准，将分散采集于不同时间点的影像学数据、临床检验数据、病史体格检查数据及治疗干预数据统一映射至标准时间轴，并按预设时间窗口划分为入院阶段、住院阶段和出院阶段，通过对同一病程阶段内同一模态的多个数据点进行时序聚合，消除非同步采集带来的数据偏差，形成结构化的多模态时序关联数据组。

28、系统会在不同时间窗触发的差异化预测任务，系统会在患者入院6h内，进行血肿扩大预测，在患者入院72h时进行手术决策，在住院期间持续进行脑水肿和脑积水监测，在出院90天后进行不良预后评估。

29、特征提取模块分别通过三维卷积神经网络对影像数据进行血肿分割与动态演变特征提取，通过长短时记忆网络对临床检验指标的时序变化趋势进行编码，并计算跨病程阶段的数值变化斜率、极值差和波动熵作为时序动态特征，从而实现影像空间特征、临床时序特征和病程演变特征的多维度量化表达。预测推理模块基于卷积神经网络构建多模态融合预测模型，对这三类特征集进行跨模态加权融合得到融合特征向量，充分利用不同模态信息之间的互补性，输出包括不良预后风险等级、病情扩大风险等级（血肿扩大风险等级、脑水肿风险等级、脑积水风险等级）和并发症发生风险等级的预后预测结果。

30、预测输出模块进一步结合由历史预后结果及其处理方案构建的临床决策规则库，将预测结果转化为手术时机建议、并发症预防措施和康复管理方案等具体预后处理建议并生成预后综合报告，同时根据患者最新的多模态数据跟踪各项预后处理的执行情况，生成已执行清单和未执行提醒报告，实现从预测到执行的闭环管理。

31、反馈验证模块采集患者实际出院90天后的预后结局数据，将预测结果与实际结果进行比对，并将比对结果回传至预测推理模块，驱动多模态融合预测模型的在线增量学习更新，使系统预测能力随数据积累持续优化。采用上述方案有以下有益效果：

32、1、本发明通过数据获取与预处理模块的设计，以患者入院时间为基准，将分散采集的影像学数据、临床检验数据、病史体格检查数据及治疗干预数据统一对齐至标准时间轴，并按入院阶段、住院阶段和出院阶段进行分组聚合，从而对患者全病程的各项数据进行掌握，为后续多模态融合预测提供了详细完整的数据基础，从而确保预测分析的可行性和全面性。本发明通过在关键时间窗(6h/24h/72h/90天)进行差异化预测，显著提升了早期干预的时效性。

33、2、本发明通过特征提取模块的设计，能够对不同类型的各项数据进行特征提取，提高后续数据分析的效率，再通过预测推理模块，根据各项数据的特征集进行加权融合，得到融合特征向量，从而综合性判断患者病情；相较于现有技术仅依靠单一数据进行分析的方式，本发明利用不同模态信息之间的互补性协同判断不良预后风险等级、病情扩大风险等级和并发症发生风险等级，克服了单一数据信息不充分以及预测结果主观性强的问题，显著提升了预后预测的准确性和可靠性。

34、3、本发明通过预测输出模块中的决策建议生成单元，将预后预测结果结合由历史预后结果及其处理方案构建的临床决策规则库，自动转化为手术时机建议、并发症预防措施和康复管理方案等个体化预后处理建议，并生成结构化的预后综合报告，相较于现有技术仅提供预测结果的方式，本发明能够为医生提供有效决策辅助，降低了临床决策的难度；同时通过任务调度单元跟踪各项预后处理的执行情况，生成已执行清单和未执行提醒报告，实现从预测到执行的全程监督，有效提高了患者对临床干预方案的依从性。

35、4、本发明通过手术和保守治疗分支决策支持降低了临床决策难度，通过结构化报告体系(图像报告/生化报告/风险报告/随访报告)提升了临床可用性。

36、5、本发明通过在线增量学习反馈机制使系统预测能力随数据积累持续优化。进一步，一种基于多模态数据融合的脑出血预后预测方法，包括以下步骤：

37、s1，数据获取：获取患者当前的多模态数据，将多模态数据按采集时间对齐至统一时间轴，构建多模态时序关联数据组。

38、s2，特征提取：从多模态时序关联数据组中提取影像学特征集、临床特征集和时序动态特征集。

39、s3，多模态融合预测：将影像学特征集、临床特征集和时序动态特征集输入多模态融合预测模型。

40、s4，预后处理建议生成：获取预后综合报告，输出预后综合报告中的预后预测结果和预后处理建议。

41、s5，任务调度与执行监督：采集患者当前的预后处理内容、执行情况，根据已执行的预后处理内容生成已执行清单；根据未执行的预后处理内容生成未执行提醒报告。

42、s6，反馈验证与模型更新：采集患者出院90天后的多模态数据，并将患者出院90天后的多模态数据反馈至多模态融合预测模型，更新多模态融合预测模型。

43、有益效果：本方案能够有效对脑出血患者不同时间以及不同类型的数据进行综合性分析，进而有效提高了预后结果分析以及预后处理建议的有效性和合理性，进而优化患者的预后结果。