基于分布式异构小模型可信融合的通用模型生成方法、装置、设备及介质与流程

本技术涉及大模型领域，特别涉及一种基于分布式异构小模型可信融合的通用模型生成方法、装置、设备及介质。

背景技术：

1、生成式人工智能大模型在内容生成、逻辑推理、多模态交互等通用场景实现了显著能力突破，已成为数字产业升级的核心基础技术。当前主流大模型均采用中心化训练范式，即汇聚全网公开数据、依托超大规模算力集群开展集中式训练，该范式在医疗、工业、金融等高精尖垂直领域的深度落地面临瓶颈。与此同时，行业开始探索分布式生成式人工智能的技术路径，即由各机构基于本地私有数据训练专业小模型，再通过模型融合技术聚合多个小模型的能力生成通用基座模型，从而在原始数据不出域的前提下实现能力共建。

2、然而，现有分布式模型融合方案仅关注融合后模型的通用性能指标，未对融合全流程的幻觉风险进行识别与管控，在多模型能力聚合的过程中，各模型自身携带的事实偏差与逻辑矛盾容易相互叠加并被进一步放大，使得融合生成的通用模型在高可靠专业场景中难以满足可信性要求。

3、综上，现有分布式模型融合生成的通用模型存在幻觉率较高的缺陷，导致多中心医疗诊断场景下的诊断准确性与诊断效率不高。

技术实现思路

1、本技术旨在提出一种基于分布式异构小模型可信融合的通用模型生成方法、装置、设备及介质，能够降低融合生成的通用模型的幻觉率，提高多中心医疗诊断场景下的诊断准确性与诊断效率。

2、第一方面，本技术实施例提供一种基于分布式异构小模型可信融合的通用模型生成方法，包括以下步骤：

3、获取多个异构专用模型，所述多个异构专用模型为多个分布式节点分别基于各自的本地私有医疗数据训练得到，各所述分布式节点的本地私有医疗数据保留在对应的分布式节点本地；

4、对所述多个异构专用模型进行语义对齐与偏差校正，得到多个可融合模型；

5、基于各所述可融合模型在各网络层级的融合权重，按网络层级对所述多个可融合模型的参数进行加权融合，并在每一网络层级的加权融合之后，对加权融合得到的中间态模型进行幻觉风险检测，根据幻觉风险检测结果对当前网络层级的融合参数进行修正，直至所有网络层级完成加权融合，得到通用基座模型；

6、将所述通用基座模型通过通信网络下发至各所述分布式节点，以使各所述分布式节点通过所述通用基座模型对目标对象的医疗数据进行推理处理，得到所述目标对象的辅助诊断结果。

7、根据本技术的一些实施例，所述多个异构专用模型中每一异构专用模型的训练过程，包括：

8、对每一所述分布式节点，基于所述分布式节点的本地私有医疗数据集，按照低比特精度配置依次执行预训练、监督微调以及强化学习，得到初始训练模型；其中，训练过程中的总损失函数为交叉熵损失与三维熵正则项之和，所述三维熵正则项为语义熵、事实熵以及逻辑熵的加权和，所述语义熵用于表征模型多次输出之间的语义自一致性，所述事实熵用于表征模型输出与本地知识库中事实之间的匹配偏差，所述逻辑熵用于表征模型输出的推理链条的因果一致性；

9、以所述总损失函数为优化目标，迭代更新模型参数直至收敛，得到所述异构专用模型。

10、根据本技术的一些实施例，所述对所述多个异构专用模型进行语义对齐与偏差校正，得到多个可融合模型，包括：

11、对每一所述异构专用模型，基于预构建的统一领域标准词汇表构建词汇映射矩阵，并通过所述词汇映射矩阵将所述异构专用模型的原生词嵌入矩阵转换为统一词汇维度的词嵌入矩阵，得到词汇空间统一后的模型；

12、将语义对齐基准锚点数据集分别输入各所述词汇空间统一后的模型，提取各锚点样本在各所述词汇空间统一后的模型中的语义向量；

13、以任意两个所述词汇空间统一后的模型对同一锚点样本的语义向量之间的余弦相似度构建图基损失函数，通过迭代微调词嵌入层与注意力语义投影矩阵以最小化所述图基损失函数，得到初始对齐模型；

14、对所述初始对齐模型进行参数分布校正，得到所述可融合模型。

15、根据本技术的一些实施例，所述得到初始对齐模型之后，还包括：

16、计算各所述初始对齐模型的语义对齐分数，所述语义对齐分数由所述初始对齐模型在所述语义对齐基准锚点数据集上的零样本任务准确率，以及所述初始对齐模型与其余初始对齐模型的语义向量的平均相似度加权得到；

17、若所述初始对齐模型的语义对齐分数小于预设对齐阈值，则定位所述初始对齐模型在所述语义对齐基准锚点数据集中得分最低的部分锚点样本构成难例强化集，提升所述难例强化集中锚点样本在所述图基损失函数中的权重系数，并重新执行所述迭代微调，直至重新计算得到的语义对齐分数不小于所述预设对齐阈值或者迭代次数达到预设迭代上限；

18、若所述迭代次数达到所述预设迭代上限后重新计算得到的语义对齐分数仍小于所述预设对齐阈值，则将所述初始对齐模型标记为低适配模型，并根据所述语义对齐分数与所述预设对齐阈值的差值确定所述低适配模型的权重衰减系数，所述权重衰减系数用于对所述低适配模型的融合权重进行衰减修正。

19、根据本技术的一些实施例，所述对所述初始对齐模型进行参数分布校正，得到所述可融合模型，包括：

20、对每一所述初始对齐模型，按网络结构分层提取参数，得到多个参数组；

21、针对每一网络层级的参数组，计算各所述初始对齐模型在该网络层级的参数的均值与方差，作为该网络层级的分布观测值，并基于卡尔曼滤波对各所述分布观测值进行基准分布估计，得到该网络层级的基准分布参数；

22、根据各所述初始对齐模型在各网络层级的分布观测值与基准分布参数，计算参数分布一致性分数；

23、若所述参数分布一致性分数不小于预设分布阈值，则采用标准线性校正公式对该网络层级的参数进行校正；若所述参数分布一致性分数小于所述预设分布阈值，则在所述标准线性校正公式的基础上引入收缩系数，对该网络层级的参数进行加权收缩校正，所述收缩系数根据所述参数分布一致性分数与所述预设分布阈值确定；校正后得到所述可融合模型。

24、根据本技术的一些实施例，各所述可融合模型在各网络层级的融合权重的确定过程，包括：

25、针对每一网络层级，采用与网络层级对应的能力评分基准，测试各所述可融合模型在该网络层级的领域能力得分；

26、若所述可融合模型为低适配模型，则根据所述低适配模型的权重衰减系数对所述领域能力得分进行衰减修正，得到修正后得分；

27、对各所述可融合模型在该网络层级的领域能力得分或修正后得分进行归一化处理，得到各所述可融合模型在该网络层级的融合权重。

28、根据本技术的一些实施例，所述对加权融合得到的中间态模型进行幻觉风险检测，根据幻觉风险检测结果对当前网络层级的融合参数进行修正，包括：

29、对所述中间态模型执行推理测试，分别计算所述中间态模型输出结果的语义熵、事实熵以及逻辑熵，并对所述语义熵、所述事实熵以及所述逻辑熵进行加权求和，得到综合幻觉风险值；

30、若所述综合幻觉风险值不大于低风险阈值，则保留当前网络层级的融合参数，进入下一网络层级的加权融合；

31、若所述综合幻觉风险值大于所述低风险阈值且不大于中风险阈值，则降低幻觉风险贡献满足预设条件的可融合模型在当前网络层级的融合权重，并基于调整后的融合权重重新计算当前网络层级的融合参数；

32、若所述综合幻觉风险值大于所述中风险阈值，则剔除风险贡献最高的至少一个可融合模型在当前网络层级的参数，并基于剩余可融合模型的参数重新计算当前网络层级的融合参数。

33、第二方面，本技术实施例提供了一种基于分布式异构小模型可信融合的通用模型生成装置，包括：

34、模型获取模块，用于获取多个异构专用模型，所述多个异构专用模型为多个分布式节点分别基于各自的本地私有医疗数据训练得到，各所述分布式节点的本地私有医疗数据保留在对应的分布式节点本地；

35、对齐校正模块，用于对所述多个异构专用模型进行语义对齐与偏差校正，得到多个可融合模型；

36、融合模块，用于基于各所述可融合模型在各网络层级的融合权重，按网络层级对所述多个可融合模型的参数进行加权融合，并在每一网络层级的加权融合之后，对加权融合得到的中间态模型进行幻觉风险检测，根据幻觉风险检测结果对当前网络层级的融合参数进行修正，直至所有网络层级完成加权融合，得到通用基座模型；

37、辅助诊断模块，用于将所述通用基座模型通过通信网络下发至各所述分布式节点，以使各所述分布式节点通过所述通用基座模型对目标对象的医疗数据进行推理处理，得到所述目标对象的辅助诊断结果。

38、第三方面，本技术实施例提供了一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；

39、所述处理器执行所述计算机程序指令时实现如第一方面所述的基于分布式异构小模型可信融合的通用模型生成方法。

40、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所述的基于分布式异构小模型可信融合的通用模型生成方法。

41、本技术实施例的基于分布式异构小模型可信融合的通用模型生成方法、装置、设备及介质，至少具有如下有益效果：

42、本实施方式中，通过获取多个分布式节点基于各自的本地私有医疗数据训练得到的多个异构专用模型，各节点的原始数据全程不出域；对多个异构专用模型进行语义对齐与偏差校正，从输入侧消除异构模型在词汇、语义以及参数分布上的差异；再基于融合权重按网络层级逐层加权融合，并在每一层融合后对中间态模型进行幻觉风险检测，根据检测结果对当前网络层级的融合参数进行修正，从融合侧逐层识别并抑制幻觉的叠加与放大。本技术在融合全流程中对幻觉风险进行了识别与管控，从而降低了融合生成的通用基座模型的幻觉率，提升了通用基座模型在高可靠专业场景中的可信性。各分布式节点通过通用基座模型对目标对象的医疗数据进行推理处理并输出辅助诊断结果，从而提高了多中心医疗诊断场景下的诊断准确性与诊断效率。

43、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。