基于多模态信息的心脑血管疾病预警系统的制作方法

本发明涉及智能医学，具体涉及一种基于多模态信息的心脑血管疾病预警系统。

背景技术：

1、传统的心脑血管疾病风险评估与预警手段主要依赖单一模态的医学数据，例如心电图、超声心动图、血压测量或ct/mri影像等。然而，心脑血管疾病的发生和发展涉及遗传、环境、生活方式等多因素交互作用，单一模态的数据难以全面捕捉疾病进展的复杂性与动态变化，往往导致预警准确性和时效性不足。研究表明，常规风险评分模型（如framingham风险评分、ascvd风险评估模型）对多模态心血管数据的整合不完全，在不同人群中的泛化能力有限。

2、近年来，随着人工智能与深度学习技术的发展，基于多模态数据融合的心脑血管疾病预警方法受到广泛关注。眼底视网膜影像是可无创观察血管网络的窗口，多项研究已证实视网膜血管参数（如动静脉比、血管迂曲度等）与心血管疾病风险存在显著关联；心脏ct/mri可评估冠脉斑块性质、心肌功能与纤维化程度；生理信号（动态心电、血氧、睡眠监测）可捕捉一过性心律失常和夜间隐匿性风险；结构化临床数据则提供了人口统计学、生化指标和病史信息。

3、然而，现有技术仍存在以下不足：第一，多数多模态预警系统对各模态数据的采样率差异、数据形态差异缺乏针对性的处理方案，简单拼接或平均融合易引入噪声；第二，现有模型的可解释性不足，深度学习模型的“黑盒”特性限制了临床医师的信任度和接受度；第三，多数研究基于回顾性数据验证，缺乏从院前监测、院中诊断到院后管理的全流程闭环设计，临床转化成熟度有待提升；第四，跨模态数据异质性、模态缺失、跨中心泛化能力等关键挑战尚未得到系统性解决。

技术实现思路

1、本发明的目的在于提供一种基于多模态信息的心脑血管疾病预警系统，以解决现有技术中的问题。

2、为实现上述目的，本发明提供了以下技术方案：一种基于多模态信息的心脑血管疾病预警系统，包括：

3、数据采集层，配置为采集目标对象的影像数据、生理信号数据和结构化临床数据，所述影像数据包括眼底图像、心脏ct和/或心脏mri，所述生理信号数据包括动态心电信号、脉搏波信号、血氧饱和度信号和多导睡眠监测信号中的至少一种，所述数据采集层采集的影像数据、生理信号数据和结构化临床数据统称为各模态数据；

4、智能分析层，与所述数据采集层通信连接，包括模态专属特征提取模块、跨模态对齐融合模块和风险分层分类模块；所述模态专属特征提取模块用于对各模态数据进行特征提取，输出与各模态数据对应的各模态特征向量；所述跨模态对齐融合模块用于将所述各模态特征向量投影至同一潜在空间，通过多头注意力机制计算跨模态注意力权重，基于所述跨模态注意力权重对所述各模态特征向量进行加权融合，输出融合特征向量；所述风险分层分类模块用于基于所述融合特征向量进行风险分层，输出风险等级及置信度分数；

5、干预响应层，与所述智能分析层通信连接，配置为根据所述风险等级生成并推送预警信息及个性化干预方案。

6、进一步的，所述模态专属特征提取模块包括：

7、眼底图像处理子模块，配置为基于u-net++模型对视网膜血管进行分割，将血管网络转化为图结构，并通过图神经网络进行特征更新，输出眼底图像图级特征向量；

8、心脏ct影像处理子模块，配置为采用核密度模糊c均值算法进行心肌分割，通过区域生长法和主动轮廓模型提取冠脉树三维结构，采用挤压-激励网络与线性调频变换提取多尺度纹理和频域特征，识别高风险斑块特征并计算冠周脂肪衰减指数，输出心脏ct特征向量；

9、心脏mri处理子模块，配置为基于深度学习分割左心室边界计算射血分数和心室容积，通过特征追踪技术计算心肌应变参数，评估延迟钆增强区域，输出心脏mri特征向量；

10、生理信号处理子模块，配置为对多导睡眠监测信号中的心电信号、气流信号和血氧信号分别进行预处理和专属特征提取，输出心肺耦合特征向量；对动态心电信号进行去噪和qrs检测，基于深度卷积神经网络识别异常心电类型，输出心电特征向量；对脉搏波信号提取时域特征和频域特征，输出血流动力学参数向量；

11、临床特征编码模块，配置为对结构化临床数据进行类别变量编码、数值变量标准化和缺失值处理，输出临床特征向量。

12、进一步的，所述跨模态对齐融合模块包括多级融合单元，所述多级融合单元包括：

13、一级融合单元，配置为对同一模态内的多序列数据进行特征拼接或三维卷积融合，输出同模态综合特征；

14、二级融合单元，配置为将不同模态的特征向量通过多头注意力机制进行注意力加权拼接，所述跨模态注意力权重反映各模态对当前预测任务的贡献度，动态调整并实现可解释性；

15、三级融合单元，配置为采用软投票或stacking集成学习方法对各模态独立分类器的输出进行决策级融合，输出最终综合风险评分。

16、进一步的，所述风险分层分类模块包括对比学习单元、分层决策单元和输出单元；所述对比学习单元配置为基于对比学习训练得到的特征空间进行风险特征比对，所述特征空间在模型训练阶段通过将同风险等级样本的特征向量拉近、不同风险等级样本的特征向量推远而构建，以增强特征空间中的类间区分度；所述分层决策单元配置为先执行二分类判定是否为高危，当判定为高危时进一步通过细粒度分类划分为极高危或高危，当判定为非高危时进一步通过细粒度分类划分为中危或低危；所述输出单元配置为输出风险等级、置信度分数和各模态贡献度排序。

17、进一步的，所述风险等级包括极高危、高危、中危和低危；极高危的判定条件为所述融合特征向量经所述风险分层分类模块判定为高风险且置信度分数大于预设置信度阈值，同时所述系统根据影像数据或生理信号数据检出预设危急征象，并触发立即紧急响应；高危的判定条件为所述融合特征向量经所述风险分层分类模块判定为高风险且置信度分数大于预设置信度阈值，并触发强化监测和一周内专科就诊建议；中危的判定条件为所述各模态特征向量中至少两种模态的特征经独立判定后提示风险，并触发进一步检查建议；低危的判定条件为全部模态的特征均未提示显著风险，并触发常规健康管理建议。

18、进一步的，所述数据采集层包括：

19、院内数据采集单元，配置为通过pacs系统接口导入dicom标准影像数据，通过his/emr系统接口导入结构化病历和检验数据，通过床旁监护仪和动态心电图记录仪获取生理信号数据；

20、院前数据采集单元，配置为通过可穿戴设备实时监测心率、动态心电信号、血压、血氧饱和度和多导睡眠监测信号，通过便携式监测设备采集居家生理信号数据，通过5g/wi-fi/蓝牙将数据传输至云端分析平台；

21、症状触发式采集单元，配置为当检测到生理指标异常时自动触发高频数据采集模式，缩短采样间隔。

22、进一步的，所述干预响应层包括：

23、云端决策支持平台，配置为通过消息队列实时接收多模态分析结果，参照临床指南进行交叉验证，基于风险等级及具体风险因素自动生成个性化干预方案；

24、主动预警与响应模块，配置为当检测到高危信号且置信度超过预设阈值时，语音呼叫值班医师进行人工复判，确认后同步通知患者及紧急联系人、推送预警信息至社区卫生服务中心，危急情况下自动通知区域急救指挥中心；

25、居民端服务模块，配置为提供心脏健康档案查询、个性化健康提醒、居家数据上传和在线问诊通道，支持家属绑定和预警信息共享；

26、基层赋能模块，配置为自动识别高血压、高血糖、高血脂及超重/肥胖人群并建档，根据预警等级推荐基层留观或向上转诊，提供管辖范围内高危患者实时状态总览，自动生成随访计划并到期提醒。

27、进一步的，还包括可解释性模块和闭环管理模块；所述可解释性模块配置为：

28、通过shap值分析各模态和各特征对模型预测的整体贡献，生成全局解释；

29、通过lime算法为单次预测生成局部解释，以热力图标注关键影像区域、关键信号片段和关键临床指标；

30、提供反事实推理，模拟目标临床指标改善后风险等级的变化结果，所述目标临床指标包括低密度脂蛋白胆固醇、收缩压、糖化血红蛋白、体质指数、冠脉周围脂肪衰减指数中的至少一种；

31、所述闭环管理模块配置为：

32、在所述智能分析层发出ai预警后，记录临床医师在预设时间内的人工复判和确认结果；

33、记录临床团队执行干预方案的处置结果、最终诊断和结局数据；

34、将所述结局数据自动反馈至所述智能分析层的模型进行增量学习，持续优化模型性能。

35、进一步的，所述数据采集层还包括数据标准化与质控单元，配置为：

36、将影像数据统一转换为dicom或nifti格式，生理信号数据统一转换为edf或csv格式，结构化临床数据遵循hl7 fhir标准；

37、执行重复数据去除、多重插补法缺失值插补和异常值检测标记；

38、校验图像信噪比大于等于20db、信号有效时长大于等于6小时、数据完整率大于等于95%；

39、对数据进行去标识化脱敏处理，传输采用tls 1.3加密，存储采用aes-256加密。

40、一种基于多模态信息的心脑血管疾病预警方法，以上任一项所述的一种基于多模态信息的心脑血管疾病预警系统，包括：

41、采集目标对象的影像数据、生理信号数据和结构化临床数据；

42、分别对各模态数据进行特征提取，输出与各模态数据对应的各模态特征向量；

43、将所述各模态特征向量投影至同一潜在空间，通过多头注意力机制计算跨模态注意力权重，基于所述跨模态注意力权重对所述各模态特征向量进行加权融合，输出融合特征向量；

44、基于所述融合特征向量进行风险分层，输出风险等级及置信度分数；

45、根据所述风险等级生成并推送预警信息。

46、本发明采用上述技术方案后，至少具有如下有益效果：

47、1、预警性能提升：本发明通过整合眼底图像、心脏ct/mri、生理信号（心电、脉搏波、血氧、睡眠监测）及结构化临床数据四大模态，构建模态专属特征提取模块，分别针对不同模态的数据特性进行定制化处理，有效解决了跨模态数据异质性问题。多模态特征经多头注意力机制投影至同一潜在空间进行动态加权融合，跨模态注意力权重反映各模态对当前预测任务的贡献度，避免了简单拼接或平均融合引入噪声的问题，能改善心脑血管事件预测中的灵敏度和特异度指标，提高心脑血管疾病预警的准确率。

48、2、全流程闭环管理：本发明实现了从院前智能监测终端和院内数据接口采集、多模态ai融合分析、主动预警推送到临床干预响应与反馈优化的全病程闭环管理。院前阶段通过可穿戴设备和便携式监测终端实时采集居家生理信号，填补了传统诊疗模式中院前预警的空白；院中阶段通过pacs/his系统对接自动导入影像和结构化数据，实现多学科信息整合；院后阶段通过居民端小程序提供健康档案查询、用药提醒和随访管理。预警-响应-处置-反馈-优化五步闭环机制，将临床结局数据自动反馈至模型进行增量学习，实现了系统的持续优化迭代。

49、3、数据安全与标准化程度高：本发明制定了统一的多模态数据采集与质控标准，影像数据统一转换为dicom/nifti格式、信号统一转换为edf/csv格式、结构化临床数据遵循hl7 fhir标准，确保多源数据的互通互认和可复用性。数据全链路采用去标识化脱敏、tls 1.3传输加密和aes-256存储加密，有效保障了患者隐私和医疗数据合规。

50、4、响应时效性高：院前监测数据通过5g/wi-fi实时回传至云端分析平台，实现预警信息的及时推送和多级联动响应，为心脑血管疾病救治争取宝贵的黄金时间窗口。