一种面向扩散语言模型的子词边界冲突诊断与修复方法

本发明涉及自然语言处理和生成式人工智能，具体涉及一种面向扩散语言模型（diffusion language model，dlm）的子词边界冲突诊断与修复方法。

背景技术：

1、扩散语言模型从包含掩码标记的子词序列出发，通过多轮去噪逐步生成文本。其能够在同一轮次内预测多个掩码位置，但并行写入的子词片段组合后可能形成融合、重复、截断、内部删除或内部替换等异常词形。

2、以句子简化（sentence simplification）任务为例，现有评价指标主要衡量生成文本的词面重合度、语义相似度或整体质量，难以直接识别和定位单个异常词形。通用拼写检查方法主要依据词典或词频，未同时利用源文本中的片段来源、生成上下文和模型分词边界，容易将合理新词、专有名词或有效改写误判为错误。直接重新生成全文又可能改变原本正确的内容。

3、因此，需要一种能够明确异常词形类型、结合源文本和生成上下文识别冲突，并将诊断结果映射至模型子词位置进行局部修复的方法。

技术实现思路

1、本发明旨在解决扩散语言模型生成文本中异常词形难以分类、诊断和定位，以及全文再生成容易改变非冲突内容的问题，提供一种子词边界冲突诊断与局部修复方法。

2、本发明提供的一种面向扩散语言模型的子词边界冲突诊断与修复方法，包括如下步骤：

3、（1）获取源文本、扩散语言模型输出的生成文本、所述扩散语言模型的分词器信息以及预设的子词边界冲突分类规则；

4、（2）对所述源文本和生成文本进行表层词形切分及标准化处理，将生成文本中标准化后未与源文本词形匹配的词形确定为候选词形；

5、（3）将所述源文本、生成文本、候选词形和子词边界冲突分类规则输入冲突判定模型，由所述冲突判定模型根据候选词形与源文本词形之间的片段对应关系以及候选词形所在的生成上下文，识别冲突词形并确定冲突类型；

6、（4）确定所述冲突词形在生成文本中的字符区间，并根据所述分词器信息将所述字符区间映射为待修复子词位置；

7、（5）将连续的待修复子词位置组成局部修复区间，将所述局部修复区间内的子词替换为掩码标记，并按照预设扩展量在所述局部修复区间的一侧或两侧增设掩码标记，得到局部掩码序列；

8、（6）在保持生成文本中局部修复区间之外的子词不变的条件下，将源文本和局部掩码序列输入所述扩散语言模型，逐轮选择当前置信度最高的掩码位置填入预测子词，直至所有掩码位置均被填充，解码得到修复文本。

9、进一步地，步骤（2）中的标准化处理至少包括去除词形首尾标点和进行大小写归一化；当存在可选参考文本时，对所述可选参考文本进行相同处理，并仅将标准化后同时未出现在源文本和可选参考文本中的生成词形确定为候选词形；具有相同标准化结果的候选词形在候选词形列表中仅保留一次。

10、进一步地，所述冲突判定模型为规则分类器、经标注数据训练的分类模型或受约束的语言模型中的至少一种；所述冲突判定模型结合候选词形与源文本词形之间的片段对应关系以及候选词形所在的生成上下文，判断候选词形是否具有片段融合、重复、截断、删除或替换的表层破坏证据；当存在可选参考文本时，还结合候选词形与可选参考文本词形之间的片段对应关系进行判断；仅在存在所述表层破坏证据时，将候选词形识别为子词边界冲突。

11、进一步地，所述子词边界冲突分类规则包括以下六种冲突类型：

12、重叠重复型：冲突词形中的字符序列或子词片段发生重复；

13、前缀截断型：冲突词形缺少对应正常词形的起始片段；

14、后缀截断型：冲突词形缺少对应正常词形的末尾片段；

15、内部删除型：冲突词形缺少对应正常词形的中间片段，并保留两侧片段；

16、内部替换型：冲突词形的中间片段被其他片段替换，并保留对应正常词形的外侧片段；

17、无效拼接型：原本应当分离的多个词形、词干或子词片段被拼接为一个冲突词形；

18、所述冲突判定模型将每个识别出的冲突词形确定为上述六种冲突类型中的一种。

19、进一步地，当所述冲突判定模型为受约束的语言模型时，向所述语言模型输入子词边界冲突定义、子词边界冲突分类规则、源文本、生成文本、候选词形列表以及存在时的可选参考文本，并约束所述语言模型输出冲突判定结果以及从候选词形列表中选择的冲突词形；将输出的冲突词形与候选词形列表进行匹配，仅将匹配的冲突词形用于确定冲突类型以及执行步骤（4）至步骤（6）。

20、进一步地，步骤（6）中各掩码位置的置信度根据该位置预测分布的最大概率或负熵确定。

21、为实现上述目的，本发明还提供了一种面向扩散语言模型的子词边界冲突诊断与修复装置，包括一个或多个处理器，用于实现上述的面向扩散语言模型的子词边界冲突诊断与修复方法。

22、为实现上述目的，本发明还提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的面向扩散语言模型的子词边界冲突诊断与修复方法。

23、为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的面向扩散语言模型的子词边界冲突诊断与修复方法。

24、与现有技术相比，本发明至少具有以下有益效果：

25、1、明确界定子词边界冲突，并依据异常词形的表层表现将其划分为六类，为此类异常词形提供统一的分类规则；

26、2、结合源文本、生成上下文和片段对应关系，实现对子词边界冲突的细粒度分类诊断，降低仅依赖词典或词频造成的误判；

27、3、将冲突词形的字符区间映射为模型子词位置并增设掩码，在保持局部修复区间之外的子词不变的条件下逐轮填充置信度最高的掩码位置，实现不同长度的局部修复，无需重新生成全文，从而降低非冲突内容被改写的风险。

1.一种面向扩散语言模型的子词边界冲突诊断与修复方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的面向扩散语言模型的子词边界冲突诊断与修复方法，其特征在于，步骤（2）中的标准化处理至少包括去除词形首尾标点和进行大小写归一化；当存在可选参考文本时，对所述可选参考文本进行相同处理，并仅将标准化后同时未出现在源文本和可选参考文本中的生成词形确定为候选词形；具有相同标准化结果的候选词形在候选词形列表中仅保留一次。

3.根据权利要求1所述的面向扩散语言模型的子词边界冲突诊断与修复方法，其特征在于，所述冲突判定模型为规则分类器、经标注数据训练的分类模型或受约束的语言模型中的至少一种；所述冲突判定模型结合候选词形与源文本词形之间的片段对应关系以及候选词形所在的生成上下文，判断候选词形是否具有片段融合、重复、截断、删除或替换的表层破坏证据；当存在可选参考文本时，还结合候选词形与可选参考文本词形之间的片段对应关系进行判断；仅在存在所述表层破坏证据时，将候选词形识别为子词边界冲突。

4.根据权利要求1所述的面向扩散语言模型的子词边界冲突诊断与修复方法，其特征在于，所述子词边界冲突分类规则包括以下六种冲突类型：

5.根据权利要求3所述的面向扩散语言模型的子词边界冲突诊断与修复方法，其特征在于，当所述冲突判定模型为受约束的语言模型时，向所述语言模型输入子词边界冲突定义、子词边界冲突分类规则、源文本、生成文本、候选词形列表以及存在时的可选参考文本，并约束所述语言模型输出冲突判定结果以及从候选词形列表中选择的冲突词形；将输出的冲突词形与候选词形列表进行匹配，仅将匹配的冲突词形用于确定冲突类型以及执行步骤（4）至步骤（6）。

6.根据权利要求1所述的面向扩散语言模型的子词边界冲突诊断与修复方法，其特征在于，步骤（6）中各掩码位置的置信度根据该位置预测分布的最大概率或负熵确定。

7.一种面向扩散语言模型的子词边界冲突诊断与修复装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-6中任一项所述的面向扩散语言模型的子词边界冲突诊断与修复方法。

8.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-6任一项所述的面向扩散语言模型的子词边界冲突诊断与修复方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述的面向扩散语言模型的子词边界冲突诊断与修复方法。