基于多维知识增强的胃肠医学智能诊疗模型建模系统及方法与流程

本发明属于人工智能与医学信息处理领域，具体涉及一种基于多维知识增强的胃肠医学智能诊疗模型建模系统及方法。

背景技术：

1、胃肠道疾病是全球范围内发病率和死亡率均较高的一类疾病，胃肠疾病病因复杂、类型多样、病程漫长，临床表现差异显著，给疾病的早期诊断、治疗及长期管理带来诸多挑战。随着自然语言处理技术的快速发展，基于大语言模型（large language model，llm）的医学人工智能系统在疾病预防、诊断、治疗与健康管理等方面展现出巨大潜力。近年来，随着开源中文大语言模型及指令微调技术的发展，医学大语言模型取得了显著进展。例如，部分模型通过医患对话数据进行微调以提升问答能力，部分方法结合医学知识图谱增强结构化知识理解能力，还有研究引入强化学习和多轮对话数据以提升复杂医疗场景下的交互性能。此外，大语言模型在胃肠疾病领域的应用也逐渐增多，相关研究表明其在辅助诊断、电子病历分析、结肠镜筛查建议以及胃肠疾病问答等任务中具有一定应用潜力。然而，现有研究大多基于通用大语言模型进行性能评估，缺乏针对胃肠疾病场景的专门模型设计与结构优化。

2、尽管现有技术中的医学大语言模型在一定程度上有所发展，但仍存在明显不足：一方面，训练数据多依赖互联网问答或自动生成数据，缺乏真实临床数据、权威医学指南及标准化考试数据的系统融合，导致模型医学知识可靠性不足；另一方面，现有模型多面向综合医学领域，缺乏针对胃肠疾病的专科优化，难以满足精细化诊疗需求。此外，多源医学知识融合方式相对简单，缺乏统一表示与深度融合机制，限制了知识利用效率。在模型优化方面，当前广泛采用的低秩自适应方法（low-rank adaptation，lora）虽然能够降低参数规模，但普遍存在跨层参数独立、收敛效率较低以及对新知识适应能力不足等问题。同时，现有技术的人工智能模型通常缺乏基于医学知识的注意力引导机制，在结果生成过程中容易产生医学不一致或“幻觉”现象。

3、因此，亟需一种能够融合多源医学知识、优化模型结构并提升生成可靠性的技术方案，以提高大语言模型在胃肠疾病智能诊疗中的应用效果。

技术实现思路

1、本发明旨在解决现有技术中的诊疗模型在胃肠领域的可靠性和适应性不足的技术问题，提供一种基于多维知识增强的胃肠医学智能诊疗模型建模系统及方法，以实现专用于胃肠疾病、兼具高准确性与强共情能力的胃肠医学智能诊疗。

2、为了解决上述技术问题，本发明采用的技术方案为：一种基于多维知识增强的胃肠医学智能诊疗模型建模方法，包括以下步骤：

3、步骤1：获取多维胃肠医学数据得到多个知识子集，通过所述知识子集构建胃肠疾病指令数据集；

4、步骤2：对所述胃肠疾病指令数据集中每个知识子集的数据进行统一向量编码，然后对编码得到的各个知识子集向量进行融合，得到全局医学知识向量；

5、步骤3：构建低秩自注意力结构的预训练大语言模型，所述预训练大语言模型为基于 transformer 架构的生成式语言模型，包括l层transformer 解码器，每个transformer解码器均包括自注意力层与前馈神经网络层，所述l层transformer解码器中，各个自注意力层的投影权重矩阵通过跨层共享低秩矩阵和层特有低秩矩阵进行自适应更新，且各个transformer解码器的自注意力权重矩阵基于输入序列与所述全局医学知识向量之间的相似度进行知识引导更新；

6、步骤4：在冻结预训练大语言模型的原始参数的基础上，将所述胃肠疾病指令数据集作为训练样本对所述低秩自注意力结构的预训练大语言模型进行监督微调，更新低秩矩阵、层特有低秩矩阵以及知识映射参数，得到多维知识增强的胃肠医学智能诊疗模型。

7、所述步骤1中，获取多维胃肠医学数据的方法为：

8、从医患对话数据集中提取胃肠疾病相关问答对后构建第一知识子集；从医学知识图谱中筛选胃肠疾病相关概念条目并转化为标准问答对后构建第二知识子集；从胃肠疾病临床医疗指南中提取信息并转化为标准问答对后构建第三知识子集；从医学资格考试数据集中筛选胃肠疾病试题并转化为标准问答对后构建第四知识子集；

9、然后，对各个知识子集中的问答对执行自动化清洗、语义等价改写和专家抽样复核，以形成所述胃肠疾病指令数据集。

10、所述医患对话数据集为meddialog和cmedqa2，通过关键词匹配技术提取胃肠疾病相关的初始问答对后，利用gpt-3.5-turbo进行自动化清洗，得到第一知识子集；

11、所述医学知识图谱为cmekg知识图谱，从中筛选出胃肠疾病条目后，将其中的关键临床概念及描述转化为标准问答对，并通过gpt-3.5-turbo对标准问答对进行语义不变的改写，生成第二知识子集；

12、从胃肠疾病临床医疗指南中提取信息并转化为标准问答对，采用gpt-3.5-turbo对标准问答对进行语义不变的改写，生成第三知识子集；

13、所述医学资格考试数据集采用cmexam数据集。

14、所述步骤2中，对所述胃肠疾病指令数据集中每个子集的数据进行统一向量编码的公式为：

15、；

16、其中，表示胃肠疾病指令数据集中的第n个知识子集对应的知识子集向量；表示统一向量编码函数；，表示第个知识子集的数据条数，d表示每个数据的维度；

17、对编码得到的各个知识子集向量进行融合的方法为：

18、首先对每个知识子集向量进行平均池化，得到全局表示：

19、；

20、其中，表示第n个知识子集对应的平均池化数据，表示第个知识子集的第j条数据；

21、然后进行拼接融合和线性映射降维：

22、；

23、；

24、其中，表示拼接向量，表示映射矩阵，，表示全局医学知识向量，。

25、所述步骤3中，采用的预训练大语言模型为baichuan、gpt、llama、qwen或chatglm。

26、所述步骤3中，各个transformer解码器的自注意力权重矩阵的计算公式为：

27、；

28、其中，表示第i层解码器对应的自注意力权重矩阵，表示查询向量，表示键向量，表示第i层解码器的输入与知识向量的相似度，表示权重系数，表示缩放因子。

29、transformer解码器的输入与知识向量的相似度的计算公式为：

30、；

31、其中，表示第i个自注意力层的输入，表示扩展后的全局医学知识向量，其中，扩展后的全局医学知识向量可以表示为：

32、

33、其中，表示长度为的全1向量，表示扩展矩阵，。

34、所述步骤4中，将所述胃肠疾病指令数据集作为训练样本对所述低秩自注意力结构的预训练大语言模型进行监督微调时，将训练样本的各个输入问题序列进行高维映射后得到向量序列，再通过全局医学知识向量对所述向量序列进行增强得到增强输入向量后输入所述低秩自注意力结构的预训练大语言模型，公式为：

35、；

36、其中，表示增强后的输入向量，表示输入问题的初始向量，和为可训练的参数矩阵，表示全局医学知识向量；

37、训练时采用的损失函数为：

38、；

39、其中，表示损失函数，n表示训练样本总数，m表示时间步t总数，表示第s个训练样本在时间步生成词元的概率。

40、所述步骤3中，各transformer解码器的自注意力层的投影权重矩阵为：

41、；

42、；

43、；

44、其中，、和分别表示查询、键和值矩阵对应的投影权重矩阵，、和表示查询、键和值矩阵对应的预训练权重矩阵，在训练过程中保持冻结，表示查询、键和值矩阵对应的跨层共享低秩矩阵，、和分别表示第层的查询、键和值矩阵对应的特有低秩矩阵。

45、此外，本发明还提供了一种多维知识增强的胃肠医学智能诊疗模型建模系统，用于执行所述的建模方法，包括：

46、高质量胃肠疾病指令数据集构建模块：用于获取多维胃肠医学数据并构建胃肠疾病指令数据集；

47、编码模块：用于对所述胃肠疾病指令数据集进行编码，得到全局医学知识向量；

48、模型构建模块：用于构建低秩自注意力结构的预训练大语言模型，所述预训练大语言模型为基于 transformer 架构的生成式语言模型，包括l层的transformer 解码器，所述transformer解码器的自注意力层的投影权重矩阵通过跨层共享低秩矩阵和层特有低秩矩阵进行自适应更新，且各个transformer解码器的自注意力权重矩阵基于输入序列与所述全局医学知识向量之间的相似度进行知识引导更新；

49、参数高效微调模块：用于通过胃肠疾病指令数据集和全局医学知识向量对构建的低秩自注意力结构的预训练大语言模型进行训练。

50、本发明与现有技术相比具有以下有益效果：

51、本发明提供了一种基于多维知识增强的胃肠医学智能诊疗模型建模系统及方法，通过构建高质量、多维度的胃肠疾病知识数据集，并创新性地提出一种参数高效的微调策略，通过构建低秩自注意力结构的预训练大语言模型，所述预训练大语言模型transformer解码器的自注意力层的投影权重矩阵通过跨层共享低秩矩阵和层特有低秩矩阵进行自适应更新，且各个transformer解码器的自注意力权重矩阵基于输入序列与所述全局医学知识向量之间的相似度进行知识引导更新，因此，本发明可以实现低资源消耗下的高性能输出，为胃肠医学智能诊疗提供有力工具。