一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统

技术特征：
1.一种结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于，包括以下步骤：通过中医临床知识图谱表示学习，提取患者中医四诊、检验检查、病程记录、诊断和治疗方案关键特征信息；基于知识关联规则模块，将关键特征信息变换为样本知识关联网络图，并输入协同知识图谱嵌入层；通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征；基于消息传递图神经网络，对患者样本知识关联网络图，诊断、辨证中药知识嵌入向量以及病人多模态信息特征进行三方信息融合；通过特征表示层和目标表示层交互计算，前向传播和逻辑输出，实现中医疾病诊断和辨证分型多标记模型预测、核心方和随症加减的知识推荐和中药剂量回归预测。2.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：基于中医古籍构建的方剂、中药、药理、不良反应知识库以及名医验案，构建所述中医临床知识图谱，所述中医临床知识图谱包括中医疾病、辨证、症状、理法方药以及三元组的信息。3.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：所述样本知识关联网络图的形式为患者
→
疾病
→
病机
→
症状
→
方剂
→
中药加减信息。4.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：通过信息抽取、概念规范化、实体对齐的方法，从患者中医四诊、检验检查、病程记录、诊断和治疗方案中获得关键特征信息。5.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征中，包括以下步骤：单级模态注意力嵌入：设计单级模态注意力机制层，输入元路径集，得到所述单级模态注意力嵌入；多级模态注意力嵌入融合：通过多级模态注意力融合层理解不同元路径的重要性，并将所述原路径融合在一起。6.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：在将有效信息变换为样本知识关联网络图的过程中；对某一患者的个人特征信息，通过知识图嵌入学习将患者高维稀疏信息进行低维空间向量转换，主要通过node2vec、line、deepwalk模型对大规模图、带权图的进行无监督嵌入学习。7.根据权利要求6所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：对大规模图、带权图的进行无监督嵌入学习的过程中，采用网络社群聚类的方法，将不同社群的患者进行区分，选取分布集中的类簇，通过阈值调整和人工筛选对离群点进行选择或剔除。8.一种中医辅助决策系统，其特征在于，包括：基于中医临床知识图谱的网络构造模块，其用于动态构建专科专病的个性化可视化知识图谱；多模态特征学习模块；多模态特征融合模块；
中医可解释辅助决策模块，其用于疾病诊断和辨证多标记分类预测、核心方和随症加减以及中药剂量回归预测；中医诊疗辅助决策诠释模块。

技术总结
本发明公开了一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及装置，涉及医学大数据、知识图谱、人工智能领域。针对中医重传承、重实践、复杂系统，大量隐性知识存在于个案验案的特点，本发明结合异质网络嵌入、图神经网络推理、深度学习可解释性技术，实现了中医药知识图谱构建与表示学习下的中医四诊多模态数据采集、信息提取、校正过滤、信息融合决策的一体化框架。具有小样本学习、可解释性强等优越性，在支持人机协同的专科/专病/名医个性化知识图谱构建，促进中医诊疗知识发现向诊疗辅助决策转化等方面有较好的应用前景。诊疗辅助决策转化等方面有较好的应用前景。诊疗辅助决策转化等方面有较好的应用前景。


技术研发人员：翁衡 老膺荣 楚晓丽
受保护的技术使用者：广东省中医院（广州中医药大学第二附属医院、广州中医药大学第二临床医学院、广东省中医药科学院）
技术研发日：2022.10.19
技术公布日：2023/1/13