一种跨语言知识分歧度量与知识重构方法、系统、电子设备及存储介质与流程

本发明涉及自然语言数据处理，尤其涉及一种跨语言知识分歧度量与知识重构方法、系统、电子设备及计算机可读存储介质。

背景技术：

1、同一主题在不同语言的文献、新闻与百科语料中，往往呈现不同的叙事框架与强调结构。对这种跨语言知识结构差异进行自动化度量，并在此基础上生成兼顾双方视角的知识条目，是知识组织、情报分析与多语知识库建设中的共性需求。

2、现有技术路线存在以下问题。其一，人工比对方式依赖专家逐篇阅读，无法规模化处理，也难以给出可比的量化指标。其二，对两个语料集各自独立进行主题建模或框架抽取，再比较两侧结果，会得到两套互不一致的标签轴。两个分布的支撑集几乎不相交时，其间的kl散度或jensen-shannon散度在每次计算中都逼近理论上界，度量发生退化，指标失去区分度，无法支撑自动化比较。其三，直接令大规模生成式语言模型输出分歧评分或均衡评分，模型倾向于复读提示中出现的示例数值，且同一输入多次调用的输出发生漂移，评分不可复现，难以用于工程系统。其四，生成式语言模型返回文本常携带代码围栏、前后缀说明或尾部截断，格式不稳定，导致自动化流水线解析失败率高。

3、因此，需要一种使跨语言分歧度量具备真实区分度、评分结果可复现、且对生成式模型输出波动具有鲁棒性的数据处理方法。

技术实现思路

1、本发明的目的在于提供一种跨语言知识分歧度量与知识重构方法、系统、电子设备及存储介质，以解决独立框架轴导致的散度退化、模型自评分不可复现以及模型输出解析脆弱的技术问题。

2、第一方面，本发明提供一种跨语言知识分歧度量与知识重构方法，包括：获取同一主题下的第一语言语料集与第二语言语料集；调用生成式语言模型将两语料集映射至统一语义空间，得到跨语言对齐概念对与文档相似度矩阵，并计算语义漂移度量；构建覆盖两个语料集的共享叙事框架清单，在同一框架轴上为每一框架确定两侧权重，缺失框架置零，分别归一化后得到两个强调分布；计算两分布间的jensen-shannon散度并以ln2归一化，得到取值于[0,1]的跨语言知识分歧指数；以对齐证据为输入进行检索增强生成，合成整合双方视角的知识条目，并获取携带来源标识与置信度的支撑证据集合以及冲突观点集合；依据支撑证据的置信度加权来源分布计算均衡度因子，依据冲突观点数量确定冲突因子，重新计算重构均衡度并输出。

3、进一步地，共享叙事框架清单通过带约束的指令生成，约束包括跨语料合并识别、数量范围限定、中立跨语言命名以及禁止分语料单独列表。进一步地，散度计算采用中间分布m=(p+q)/2的对称kl平均形式并经ln2归一化截断。进一步地，方法包含对旧式独立权重数据的键并集补零兼容处理。进一步地，均衡度因子由两侧证据的置信度加权和sa、sb按e=1−|sa−sb|/(sa+sb)确定，冲突因子按f=0.7+0.3×min(nc,3)/3确定，重构均衡度按b=0.6×e×f+0.4×s0加权融合并设上限截断。进一步地，方法包含围栏剥离、外层花括号提取与尾部回退重试的三段式容错解析。进一步地，各步骤经会话标识关联，支持分步调用与单次流水线执行两种形态。

4、第二方面，本发明提供一种跨语言知识分歧度量与知识重构系统，包括语义对齐模块、叙事比较模块、知识重构模块、会话管理单元与接口服务单元。第三方面，本发明提供一种电子设备，包括存储器与处理器，处理器执行存储的计算机程序时实现前述方法。第四方面，本发明提供一种计算机可读存储介质，存储的计算机程序被处理器执行时实现前述方法。

5、与现有技术相比，本发明的有益效果在于以下方面。共享框架轴设计使两个强调分布定义于同一支撑集，jensen-shannon散度不再于每次计算中坍缩至上界，分歧指数在[0,1]区间内呈现真实区分度，可用于跨案例横向比较。重构均衡度不采信不稳定的模型自评作为最终结果，而由证据来源分布与冲突数量确定性复算，同一输入产生同一输出，且随评分输出计算依据数据，结果可审计、可复现。三段式容错解析显著降低对生成式模型输出格式波动的敏感性，提高自动化流水线的可用率。会话机制避免各层重复计算，兼顾交互式分步分析与批量流水线两种使用形态。

1.一种跨语言知识分歧度量与知识重构方法，其特征在于，由计算机设备执行，所述方法包括：获取同一主题下的第一语言语料集与第二语言语料集；调用生成式语言模型将所述第一语言语料集与所述第二语言语料集映射至统一语义空间，得到跨语言对齐概念对与文档相似度矩阵，并计算表征跨语言概念偏移程度的语义漂移度量；基于所述第一语言语料集与所述第二语言语料集构建共享叙事框架清单，所述共享叙事框架清单中的每一框架标签同时用于两个语料集的强调程度评分；对每一所述框架标签分别确定第一权重与第二权重，其中任一语料集中缺失的框架标签在该语料集侧的权重被置为零；对全部第一权重与全部第二权重分别归一化，得到定义在同一框架轴上的第一强调分布与第二强调分布；计算所述第一强调分布与所述第二强调分布之间的jensen-shannon散度，并以ln2对所述散度归一化，得到取值于[0,1]区间的跨语言知识分歧指数；以包含所述共享叙事框架清单及其权重的对齐证据为输入，通过检索增强生成合成整合两个语料集视角的知识条目，并获取所述知识条目的支撑证据集合与冲突观点集合，所述支撑证据集合中的每一支撑证据携带来源标识与置信度；依据所述支撑证据集合在两个语料集之间的置信度加权分布计算均衡度因子，依据所述冲突观点集合的数量确定冲突因子，并至少依据所述均衡度因子与所述冲突因子重新计算所述知识条目的重构均衡度；输出所述跨语言知识分歧指数、所述知识条目及所述重构均衡度。

2.根据权利要求1所述的方法，其特征在于，所述构建共享叙事框架清单包括：向生成式语言模型发送约束指令，所述约束指令要求跨两个语料集合并识别数量处于预设范围内的叙事框架、以中立的跨语言标签命名各框架，并禁止为每个语料集单独生成框架列表；接收所述生成式语言模型返回的共享框架清单以及逐框架的两组权重。

3.根据权利要求1所述的方法，其特征在于，所述计算jensen-shannon散度包括：将所述第一强调分布与所述第二强调分布对应到框架标签并集上，缺失项以零补齐；构造中间分布m=(p+q)/2，其中p、q分别为补齐后的两个强调分布；分别计算p相对于m与q相对于m的kl散度并取平均；以ln2对平均值归一化，并截断至[0,1]区间。

4.根据权利要求1所述的方法，其特征在于，还包括兼容处理步骤：当接收到的框架数据为两个语料集各自独立的权重集合时，取两个权重集合的键并集作为共享框架轴，任一集合中缺失的键以零权重补齐，再执行所述归一化。

5.根据权利要求1所述的方法，其特征在于，所述计算均衡度因子包括：依据所述来源标识中的语言特征词或语料集特征词，将各支撑证据归入第一语料集侧或第二语料集侧；对两侧支撑证据分别作置信度加权求和，得到第一加权和sa与第二加权和sb；令均衡度因子e=1−|sa−sb|/(sa+sb)。

6.根据权利要求5所述的方法，其特征在于，令所述冲突观点集合的数量为nc，冲突因子f=0.7+0.3×min(nc,3)/3；获取生成式语言模型输出的均衡自评分s0；所述重构均衡度b=0.6×e×f+0.4×s0，且以预设上限截断；输出b以及包含sa、sb、nc与s0的计算依据数据。

7.根据权利要求1所述的方法，其特征在于，还包括对生成式语言模型返回文本的容错解析步骤：剥离代码围栏标记；提取最外层花括号之间的内容以丢弃前后缀文本；解析失败时自文本尾部逐一回退至最近的闭合位置并重试解析。

8.根据权利要求1所述的方法，其特征在于，所述方法的各步骤经会话标识关联，语义对齐、分歧度量与知识重构既可分步调用并经所述会话标识传递中间结果，也可在单次请求内顺序执行。

9.一种跨语言知识分歧度量与知识重构系统，其特征在于，包括：语义对齐模块，用于执行统一语义空间映射与语义漂移度量；叙事比较模块，用于构建共享叙事框架清单并计算跨语言知识分歧指数；知识重构模块，用于检索增强生成与重构均衡度复算；会话管理单元，用于以会话标识关联并传递各模块的中间结果；接口服务单元，用于对外提供分步调用与流水线调用接口；所述系统被配置为执行权利要求1至8任一项所述的方法。

10.一种电子设备，其特征在于，包括存储器与处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。