一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统

1.本发明涉及医学人工智能、知识图谱技术领域，尤其涉及基于中医药知识图谱对多模态信息进行处理、融合后进行中医辅助决策的方法及系统。


背景技术：

2.中医药有上下五千年的悠久历史，其以整体观、辨证论治为核心的科学思维和个性化诊疗的技术方法经过长期实践，有着临床疗效确切、用药相对安全、治疗方式灵活、费用相对低廉的优点。然而在临床实际工作中往往需要根据病人个体差异和病情特点进行中药搭配的修正和剂量加减，以达到切合病人体质、减毒增效的作用，缺乏经验的年青中医生较难把握。一方面中医诊疗依赖专家个人望闻问切信息采集、加工和思维转换，另一方面大量经验知识存在于古今文献、名老中医头脑中尚待挖掘，因此中医个性化遣方用药还难以为计算机所理解和还原。
3.如何有效利用中医四诊、检验检查、病程记录、诊断和治疗方案信息和中医理法方药知识库，提升诊疗决策的准确性和可靠性，实现名医个性化知识图谱构建和迁移学习是解决问题的关键。


技术实现要素：

4.针对现有技术的不足，本发明提出一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统，使传统中医诊断决策黑箱过程建立在可解释的名医个体和循证医学诊疗知识图谱之上，在实现名医个性化知识图谱构建和迁移学习同时，提升了诊疗决策的准确性和可靠性。
5.本发明的技术方案是这样实现的：
6.一种结合临床知识图谱与多模态信息融合的中医辅助决策方法，包括以下步骤：
7.通过中医临床知识图谱表示学习，提取患者中医四诊、检验检查、病程记录、诊断和治疗方案关键特征信息；
8.基于知识关联规则模块，将关键特征信息变换为样本知识关联网络图，并输入协同知识图谱嵌入层；
9.通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征；基于消息传递图神经网络，对患者样本知识关联网络图，诊断、辨证中药知识嵌入向量以及病人多模态信息特征进行三方信息融合；
10.通过特征表示层和目标表示层交互计算，前向传播和逻辑输出，实现中医疾病诊断和辨证分型多标记模型预测、核心方和随症加减的知识推荐和中药剂量回归预测。
11.进一步地实施方式，基于中医古籍构建的方剂、中药、药理、不良反应知识库以及名医验案，构建所述中医临床知识图谱，所述中医临床知识图谱包括中医疾病、辨证、症状、理法方药以及三元组的信息。
12.进一步地实施方式，所述样本知识关联网络图的形式为患者
→
疾病
→
病机
→
症状
→
方剂
→
中药加减信息。
13.进一步地实施方式，通过信息抽取、概念规范化、实体对齐的方法，从患者中医四诊、检验检查、病程记录、诊断和治疗方案中获得关键特征信息。
14.进一步地实施方式，通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征中，包括以下步骤：
15.单级模态注意力嵌入：设计单级模态注意力机制层，输入元路径集，得到所述单级模态注意力嵌入；
16.多级模态注意力嵌入融合：通过多级模态注意力融合层理解不同元路径的重要性，并将所述原路径融合在一起。
17.进一步地实施方式，在将有效信息变换为样本知识关联网络图的过程中；对某一患者的个人特征信息，通过知识图嵌入学习将患者高维稀疏信息进行低维空间向量转换，主要通过node2vec、line、deepwalk模型对大规模图、带权图的进行无监督嵌入学习。
18.进一步地实施方式，对大规模图、带权图的进行无监督嵌入学习的过程中，采用网络社群聚类的方法，将不同社群的患者进行区分，选取分布集中的类簇，通过阈值调整和人工筛选对离群点进行选择或剔除。
19.本发明还提出了一种中医辅助决策系统，其特征在于，包括：基于中医临床知识图谱的网络构造模块，其用于动态构建专科专病的个性化可视化知识图谱；多模态特征学习模块；多模态特征融合模块；中医可解释辅助决策模块，其用于疾病诊断和辨证多标记分类预测、核心方和随症加减以及中药剂量回归预测；中医诊疗辅助决策诠释模块。
20.与现有技术相比，本发明具有以下优点。
21.本发明利用知识图谱表示学习和多模态知识图注意力嵌入实现中医四诊、检验检查、病程记录、诊断和治疗方案单模态信息抽取和基于知识图的多模态信息融合提升了诊疗决策的准确性和可靠性，基于名医个性化知识图谱构建和迁移学习优化中医理法方药潜在因果关系的学习过程，在小样本学习场景也能较好的提升准确率，并使传统中医诊断决策黑箱过程建立在可解释的名医诊疗经验和医学循证证据之上。
附图说明
22.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明中中医诊疗辅助决策诠释模块的示意图；
24.图2为本发明中基于中医临床知识图谱的网络构造模块的示意图；
25.图3为本发明中临床知识图谱与多模态信息融合的中医辅助决策框架示意图；
26.图4为本发明中多模态注意力嵌入下的中医疾病诊断和辨证分型多标记模型预测的流程示意图；
27.图5为本发明中多模态知识注意力嵌入下的核心方和随症加减的知识推荐和中药剂量回归预测的流程示意图；
28.图6为本发明中通过高血压知识图谱模型可视化病机症状关联关系的示意图；
29.图7为本发明中中医辅助决策方法的流程示意图。
具体实施方式
30.下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
31.中医自古以来有“同病异治、异病同治”“中药剂量是”是中医特有的辨证论治特点。中医医家对中医辨证诊断、治则治法、中药剂量加减都有自己的见解和认识，除了医学指南、诊疗规范、药典明确定义的显性知识外、大量隐性知识存在于名医专家头脑中尚待挖掘，难以复现。
32.参见图1至图7，本发明实施方式公开了一种结合临床知识图谱与多模态信息融合的中医辅助决策方法，包括以下步骤。
33.s01、专科专病个性化中医诊疗知识图谱构建，基于前期1100部中医古籍构建的方剂、中药、药理、不良反应知识库以及10万余份名医验案，建立含中医疾病、辨证、症状、理法方药5万，110万三元组的中医临床知识图谱；
34.s02、对于专科新的知识，利用已有的中医临床知识图谱和知识图谱模型，对患者中医四诊、电子病历记录、随访问卷量表、检验检查、诊断和治疗方案信息进行信息抽取、概念规范化、实体对齐——information extraction(ie)、concept normalization(cn)、entity alignment(ea)，经过知识融合与验证，最终形成的患者
→
疾病
→
病机
→
症状
→
方剂
→
中药加减信息的专科或名医的个性化知识图谱。
35.s03、通过知识表示学习，构建知识图谱模型，辅助专家对潜在三元组的确认和扩展，动态构建专科专病的个性化可视化知识图谱，通过多轮迭代的迁移学习，使知识图谱模型更贴近名医诊疗辅助决策和理法方药，知识关联可解释性不断增强。
36.如图2所示：系统辅助专家对潜在三元组的进行确认，提高构建专科/个性化知识图谱效率，箭头粗细代表了潜在因果关系的强弱，节点大小代表节点在妇人痛经四诊——辨证知识网络中的重要性，系统对同一分类下的节点进行聚类，不同颜色代表不同聚类，节点形状代表节点的类型。
37.s04、知识图谱融合的中医多模态信息融合嵌入，利用智能助手通过手机及脉诊仪等专业设备采集中医证候量表、患者图像、视频文件并和患者电子病历信息相关联，分门别类抽取清洗集成中医病名、中药/方剂、检验/检查、西医病名、中医症状，医院科室等有效信息和关系，利用知识关联规则模块构建样本知识关联网络图。
38.s05、对于某一患者的个人特征信息，通过知识图嵌入学习将患者高维稀疏信息进行低维空间向量转换。选用node2vec、line、deepwalk模型对大规模图、带权图的进行无监督嵌入学习，过程中将会产生大量的节点和关系。针对这一问题，本发明实施方式采用网络社群聚类的方式，将不同社群的患者进行区分，可视化选取分布相对集中类簇进行下一步工作，对于离群点本发明实施方式通过阈值调整和人工筛选，进行选择或剔除。
39.构建图形数据集是一个双向，加权网络。节点如：四诊、检验检查、疾病、病程记录
average)、微平均值(micro average)与传统随机森林模型相比均有5～10％的提成。
53.b、中医诊疗辅助决策的可解释性
54.利用个性化知识图谱模型的实体/链接预测功能，通过知识图谱的可视化，辅助专家对潜在三元组的确认和扩展，实现隐性知识显性化，有助于临床诊断效率提升，治疗方案选择和优化，减少医疗差错；
55.同时随着多模态信息结合专科问卷/量表采集以及知识规则模块端的反馈迭代学习，有助于知识图谱模型的因果推理及可解释性不断增强。
56.如图6所示，模型输出病机和症状的推理关系，箭头粗细代表了潜在因果关系的强弱，节点大小代表节点在老年高血压患者中医证候知识网络中的重要性，系统对同一分类下的节点进行聚类，不同颜色代表不同聚类，节点形状代表节点的类型。
57.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。