基于互联网医院的泌尿系统疾病人工智能辅助诊疗系统

本发明涉及人工智能软件领域，尤其涉及基于互联网医院的泌尿系统疾病人工智能辅助诊疗系统。

背景技术：

1、随着互联网医疗的快速发展，泌尿系统疾病的在线筛查、慢病管理和术后随访逐渐向线上迁移。泌尿系统疾病涵盖感染、结石、肿瘤及前列腺疾病等多种类型，其准确诊断高度依赖对患者症状描述、实验室检查结果（如尿常规、肾功能指标、psa等）和医学影像（如超声、ct、mri）等多模态信息的综合研判。在互联网医院场景下，患者通过平台提交在线问诊文本、上传检验报告和影像资料，医生需要远程整合这些异构数据以做出诊疗决策。然而，专科医生资源有限，面对大量并发的多模态数据，亟须智能化的辅助诊疗手段提高分诊和诊断效率。

2、针对上述需求，现有技术中已出现一些基于人工智能的辅助诊断系统。早期研究多集中于单模态分析，例如基于医学影像的病灶识别模型或基于实验室指标的专家系统，这类单模态系统因信息利用不完整，诊断精度受到明显限制。为突破此局限，多模态融合技术被逐渐引入，其通过将文本、数值和图像等特征进行拼接、加权求和或利用通用神经网络进行融合，实现信息互补。但这类通用融合方法存在显著不足：它们缺乏对泌尿系统疾病领域结构化知识的显式利用。临床实践中，不同模态数据对不同疾病的诊断贡献度存在天然差异，这种差异在医学知识体系中已有明确定义和量化关系；而现有数据驱动的融合架构未能将此类领域知识嵌入特征融合过程，导致各模态的融合权重纯粹由训练数据统计分布决定，缺乏医学依据，在数据质量参差不齐或样本稀疏时，融合结果的准确性和鲁棒性受到一定影响。

3、此外，知识图谱技术在医疗领域已有所应用，通过构建疾病、症状、实验室指标和影像表现等实体及其关联关系，可为临床推理提供知识支撑。部分现有系统将知识图谱作为独立模块，用于诊断结果的解释或相似病例检索，但并未将知识图谱与多模态数据的特征提取和融合过程进行深度结合。这种松耦合方式使得知识图谱中蕴含的实体间语义关联无法直接参与多模态特征的加权融合计算，多模态数据与领域知识之间的语义鸿沟未被有效弥合，这在一定程度上制约了辅助诊疗系统在复杂临床场景下的表现。

4、综上，现有基于互联网医院的泌尿系统疾病辅助诊疗技术，尚缺少一种能够在特征层面将多模态数据与泌尿系统疾病知识图谱进行语义对齐，并依据知识关联动态引导多模态特征融合的技术方案。因此，如何实现知识图谱驱动的多模态深度语义融合，以提高辅助诊断的准确性和可解释性，是本领域亟待解决的技术问题。

技术实现思路

1、本发明针对现有基于互联网医院的泌尿系统疾病辅助诊疗技术中多模态数据与领域知识融合不充分、诊断准确性和可解释性不足的技术问题，提出一种基于互联网医院的泌尿系统疾病人工智能辅助诊疗系统及其方法。

2、为解决上述技术问题，本发明采用以下技术方案：

3、一种基于互联网医院的泌尿系统疾病人工智能辅助诊疗系统，包括数据采集模块、特征提取模块、知识图谱模块、跨模态语义融合模块和辅助诊疗生成模块；

4、所述数据采集模块配置为从互联网医院平台获取患者的多模态诊疗数据，具体包括患者通过在线问诊界面提交的文本描述数据、通过检验报告上传功能提交的实验室检查数值数据，以及通过影像资料上传功能提交的医学影像数据；其中，所述文本描述数据包含患者的主诉症状、现病史、既往史等文字信息；所述实验室检查数据涵盖尿常规指标、肾功能指标、前列腺特异性抗原等定量检测结果；所述医学影像数据包括超声图像、ct断层图像及磁共振图像；

5、所述特征提取模块配置为对采集到的多模态数据进行特征向量化处理，具体包括：利用预训练的语言编码网络对患者在线问诊文本进行语义编码，提取能够表征症状描述特征的文本特征向量；利用数值处理网络对实验室检查指标进行标准化处理和特征映射，提取能够表征检验结果异常程度的实验室特征向量；利用医学影像分析网络对超声、ct、mri图像进行特征提取，提取能够表征影像表现特征的影像特征向量；各特征向量的维度保持一致，以便后续进行融合计算；

6、所述知识图谱模块配置为存储结构化的泌尿系统疾病领域知识，所述知识图谱包含多种类型的实体节点以及节点之间的语义关联关系；具体而言，所述实体节点包括疾病实体、临床症状实体、实验室检验指标实体和医学影像表现实体；所述关联关系包括疾病与症状之间的伴随关系、疾病与实验室指标异常之间的诊断关系，以及疾病与影像表现之间的特征对应关系；每条关联关系携带有基于循证医学的证据等级量化值，用于表征该关联关系在临床诊断中的可靠程度；

7、所述跨模态语义融合模块是本发明的核心创新单元，其配置为实现多模态特征向量与知识图谱实体空间之间的语义对齐与深度融合；具体包括语义对齐单元和加权融合单元；

8、所述语义对齐单元配置为将提取得到的文本特征向量、实验室特征向量和影像特征向量分别映射到知识图谱的实体嵌入空间中，通过计算各特征向量与知识图谱中对应类型实体向量之间的相似度度量，实现患者数据特征与医学知识实体之间的语义关联匹配；具体地，将文本特征向量与症状实体进行相似度计算，将实验室特征向量与检验指标实体进行相似度计算，将影像特征向量与影像表现实体进行相似度计算；

9、所述加权融合单元配置为基于语义对齐结果计算各模态特征向量的融合权重，并执行加权融合操作；具体而言，利用注意力机制学习各特征向量与所对应知识实体之间的关联强度，得到初步的关联权重矩阵；进一步地，根据知识图谱中各关联关系的证据等级量化值对所述关联权重进行加权修正，使得融合权重既反映数据驱动的语义相关性，又体现循证医学的领域知识约束；

10、通过上述融合机制，生成能够综合反映患者多维度诊疗信息的多模态融合特征向量，该融合特征向量同时蕴含了患者的原始数据特征和领域专家知识的语义引导；

11、所述辅助诊疗生成模块配置为基于所述多模态融合特征向量生成辅助诊疗信息；具体包括诊断推理单元和信息输出单元；

12、所述诊断推理单元以多模态融合特征向量为输入，通过神经网络推理模型输出候选诊断假设及其置信度评分；所述信息输出单元根据诊断推理结果生成面向医生和患者的辅助诊疗建议文本，以及针对当前诊断所需的推荐检查项目清单，并将生成的辅助诊疗信息通过接口发送至互联网医院平台，供医护人员在诊疗流程中查阅参考。

13、进一步地，本发明所述的跨模态语义融合模块还包括异构图构建单元和图神经网络处理单元；

14、所述异构图构建单元配置为将患者的多模态特征向量作为图的节点插入知识图谱的实体关系网络中，建立患者数据节点与知识图谱实体节点之间的连接边，形成包含患者节点、知识实体节点以及它们之间边的异构图结构；其中，患者数据节点分别与对应的症状实体节点、检验指标实体节点和影像表现实体节点建立连接边，边的权重根据语义对齐单元计算的相似度得分确定；

15、所述图神经网络处理单元配置为在构建的异构图上执行图注意力消息传递机制，通过迭代更新各节点的特征表示，使患者数据节点能够充分聚合来自知识图谱的领域语义信息；具体采用多头注意力机制计算节点间的信息传递权重，然后对来自不同邻居节点的聚合信息进行加权求和，更新患者数据节点的最终特征表示；最终，通过对患者数据节点的所有模态特征进行图层面聚合，得到融合后的多模态融合特征向量。

16、进一步地，本发明所述的跨模态语义融合模块还包括模态重要性评估网络；

17、所述模态重要性评估网络配置为根据患者的具体症状表现评估不同模态数据对诊断的贡献度；具体而言，从文本特征向量中提取主诉症状相关的子向量表示，将其输入训练好的重要性评估网络中，输出分别对应于文本模态、实验室模态和影像模态的三个重要性权重值；这些权重值反映了在当前患者症状背景下，各模态数据的诊断参考价值差异；

18、所述注意力机制在计算各特征向量与知识实体的关联权重时，利用所述模态重要性权重对初步计算的关联权重进行缩放处理，使得诊断贡献度高的模态在最终融合时获得更大的权重系数，从而提高融合结果对关键诊断信息的敏感度。

19、进一步地，本发明所述的知识图谱模块中存储的关联关系包含基于循证医学指南的证据等级量化值；

20、具体地，疾病与症状之间的关联关系按照循证医学证据等级划分为强关联、中度关联和弱关联三个等级，分别赋予不同的量化权重系数；例如，尿路感染与尿频尿急尿痛症状之间的关联为强关联，证据等级量化值设定为较高值；而某些非典型症状与疾病之间的关联为弱关联，证据等级量化值设定为较低值；

21、所述跨模态语义融合模块在计算得到各特征向量与知识实体的关联权重之后，进一步利用所述证据等级量化值对关联权重进行加权修正，使得融合过程更加符合临床诊断的医学逻辑，提高融合结果的医学合理性。

22、进一步地，本发明所述的辅助诊疗生成模块包括序列生成单元和逻辑约束单元；

23、所述序列生成单元配置为基于多模态融合特征向量生成自然语言形式的诊断建议文本；具体采用自回归的生成式神经网络，以多模态融合特征向量作为初始隐藏状态，通过逐步预测下一个词汇的方式生成完整的诊断建议语句；

24、所述逻辑约束单元配置为在序列生成过程中融入医学知识约束，避免生成违背医学逻辑的诊断建议；具体而言，在生成网络的每一步输出时，从知识图谱中检索与当前已生成序列相关的诊断逻辑规则，将这些规则编码为约束向量，然后将该约束向量与生成网络输出的词汇概率分布进行逐元素乘法运算，实现对不合理词汇的概率压制，从而确保生成的诊断建议符合泌尿系统疾病的诊疗规范。

25、进一步地，本发明还包括联邦学习模块，配置为支持多中心互联网医院协同训练同时保护患者隐私数据；

26、所述联邦学习模块控制各互联网医院节点在本地使用各自的诊疗数据计算模型参数的梯度信息，并对所述梯度信息进行加密处理后上传至中央聚合服务器；所述中央聚合服务器对接收的加密梯度进行解密和加权聚合操作，生成更新后的全局模型参数，并将所述全局模型参数分发回各节点供本地模型更新使用；

27、通过该联邦学习机制，各互联网医院的诊疗数据始终保存在本地，仅传输加密的梯度信息，有效解决了多中心协作学习中患者隐私保护的技术难题，同时能够利用更大规模的汇总数据提升模型的泛化能力。

28、进一步地，本发明所述的数据采集模块还配置为获取患者的人口统计学特征数据和既往病史数据；

29、所述特征提取模块还配置为对所述人口统计学数据和既往病史数据进行特征编码，得到包含患者背景信息的背景特征向量；

30、所述跨模态语义融合模块还包括背景注意力单元，配置为利用患者背景特征实现个性化的诊疗信息融合；具体而言，将背景特征向量作为查询向量，分别与知识图谱中各症状实体、检验指标实体和影像表现实体的嵌入向量进行相似度计算，得到针对当前患者的个性化注意力分布；该注意力分布反映了基于患者年龄、性别、既往病史等因素，不同诊断维度对该患者的相对重要性；利用该个性化注意力分布对文本特征向量、实验室特征向量和影像特征向量进行加权融合，得到更加个性化的多模态融合特征向量。

31、进一步地，本发明还包括增量更新模块，配置为实现模型在持续学习过程中的知识保持；

32、所述增量更新模块监测新标注诊疗数据的累积数量，当新数据达到预设阈值时触发增量训练流程；所述增量训练过程包括：首先计算各模型参数对历史诊疗任务的重要性权重，该重要性权重通过计算参数对历史任务损失函数的梯度幅度来确定；在增量训练的损失函数中增加正则化项，该正则化项对重要性权重高于设定阈值的参数施加更新惩罚，使得这些重要参数在增量训练过程中保持稳定，避免模型发生灾难性遗忘现象；

33、通过该增量更新机制，系统能够持续学习新的泌尿系统疾病诊疗模式，同时保持对已学习知识的记忆能力。

34、进一步地，本发明所述的特征提取模块在正式部署前通过自监督预训练方式获得最优初始参数；

35、具体而言，对于文本特征提取部分，利用大规模无标注医学文献语料进行掩码语言模型预训练，使网络学习医学术语的语义表示和上下文关联关系；对于影像特征提取部分，利用对比学习任务对医学影像编码网络进行预训练，通过最大化同一医学影像经过不同数据增强处理后得到的特征表示之间的相似度，使网络学习到具有医学语义区分性的影像特征表示；

36、通过上述预训练策略，特征提取模块在面对泌尿系统疾病的特定诊疗数据时能够获得更优的初始特征表示能力，提高下游诊断任务的模型性能。

37、进一步地，本发明还包括多模态冲突消解模块，配置为处理多模态数据之间存在诊断意见不一致的情况；

38、所述多模态冲突消解模块首先计算各模态特征向量对候选诊断假设的支持度评分；然后比较不同模态之间的支持度评分差异，当任意两个模态的支持度差值超过预设的冲突判定阈值时，判定当前诊疗数据存在多模态冲突；

39、在检测到冲突后，触发冲突消解操作：查询知识图谱中各模态数据在对应诊断假设下的可靠性先验权重，可靠性较高的模态在融合时获得较大的参与权重，可靠性较低的模态则降低其在融合特征中的权重占比；同时，对于支持度明显异常的模态数据，系统生成针对性的重新检查提示信息，建议患者补充或重新执行相应的检验检查项目，以便获取更加一致的诊疗依据。

40、与现有技术相比，本发明具有以下有益效果：

41、第一，通过将多模态特征向量与知识图谱实体进行语义对齐，实现了患者数据特征与医学领域知识在特征层面的深度融合，使得融合结果既包含数据驱动的统计特征，又蕴含循证医学的知识约束，显著提高了辅助诊断的准确性和可解释性；

42、第二，通过引入基于循证医学证据等级量化值的权重修正机制，使得不同模态数据的融合权重符合临床诊断的医学逻辑，避免了纯粹数据驱动方法在样本稀疏或数据质量不佳时融合效果下降的问题；

43、第三，通过在辅助诊疗生成过程中融入知识图谱的诊断逻辑约束，确保生成的诊断建议符合医学规范，避免出现违背临床常识的错误建议，提高了系统的临床实用性；

44、第四，通过联邦学习模块的设计，实现了多中心协作学习与患者隐私保护的有效平衡，为系统在更大范围的互联网医院部署应用提供了技术支撑；

45、第五，通过多模态冲突消解机制，能够自动检测并处理不同模态数据之间的诊断意见冲突，为医生提供了需要补充检查的提示信息，提高了辅助诊疗系统的鲁棒性和临床适用性。