机器生成文本检测方法和系统、以及检测模型的训练方法

本发明涉及机器学习，尤其涉及一种机器生成文本检测方法和系统、以及机器生成文本检测模型的训练方法、电子设备、计算机存储介质和计算机程序产品。

背景技术：

1、随着数据要素市场和人工智能产业的发展，文本数据已广泛应用于模型训练、知识库构建、内容审核、数据分析和智能问答等场景，并可以作为数据产品在不同主体之间进行采集、加工、交付和流通。在数据流通过程中，数据集可能同时包含人类撰写文本、机器生成文本、机器改写文本以及机器润色文本。由于上述不同来源的文本在语言表达和表面形式上可能较为接近，仅依赖数据提供方声明、文件属性或简单规则，通常难以准确确定文本的生成来源。

2、对数据集中机器生成文本进行检测，有助于统计机器生成内容在数据集中的数量和比例，辅助完成数据来源标注、数据质量评估以及数据集组成分析，并降低未经标注的机器生成内容混入人类原创文本数据集的风险。对于用于训练大语言模型的数据集，识别其中的机器生成文本还有助于发现合成数据重复累积、模型生成内容回流以及训练数据分布偏移等问题，为数据筛选、去重、分级和质量控制提供依据。

3、在数据交易和数据流通场景中，对文本生成来源进行识别还可以辅助数据提供方、数据使用方及数据交易平台核验数据产品的内容构成，判断数据是否符合约定的来源、真实性、原创性和机器生成内容比例要求，从而为数据产品的验收、质量分级、价值评估和合规使用提供参考。此外，机器生成文本检测还可以应用于网络内容治理、学术诚信审查、新闻和评论真实性分析、知识库维护以及生成式人工智能内容标识等场景。

4、但是，数据流通所涉及的文本数据通常来源广泛，可能覆盖新闻、学术、政务、商业、评论、邮件及网络内容等不同领域，并可能由不同类型、不同参数规模的大语言模型生成或改写。因此，用于上述场景的机器生成文本检测方法不仅需要具有较高的检测准确率，还需要具备跨领域、跨生成模型和短文本条件下的检测稳定性，并应尽量降低检测过程中额外文本生成所带来的时间开销和计算资源消耗。

5、大语言模型通常采用自回归方式生成文本。对于由词元序列表示的文本，大语言模型在第个位置根据前缀计算隐藏表征，并基于该隐藏表征预测下一词元。由于采用因果注意力掩码，一次完整序列前向计算即可获得各有效位置分别对应的前缀隐藏表征。已有研究表明，这些隐藏表征中包含能够区分人类撰写文本和机器生成文本的信息。

6、现有机器生成文本检测方案主要包括两类。第一类为基于概率分布的检测方案，其步骤通常为：将待检测文本输入代理语言模型；计算各词元的似然、熵、排名、困惑度、概率曲率或概率序列统计量；将上述统计量输入阈值规则或分类器；输出人类撰写或机器生成的判定结果。该类方案的推理流程较短，但代理语言模型对不同领域和不同语言风格文本的重构偏差不同，检测结果容易随测试分布变化。

7、第二类为基于扰动和比较的检测方案，其步骤通常为：接收待检测文本；调用大语言模型对待检测文本进行改写、续写或扰动；分别计算原文本和辅助文本的概率、编辑距离或表征距离；根据两者差异确定文本类别。部分方案使用可训练距离函数学习原文本与改写文本之间的关系。该类方案可以引入额外比较信号，但改写文本是检测流程中的必要输入，每检测一个样本均需执行额外的大语言模型生成过程。

8、还有一种监督分类方案，是直接将完整文本输入预训练语言模型，取最后位置表征或平均表征，通过多层感知机和线性分类器输出类别，并使用交叉熵损失进行端到端训练。该方案未显式区分隐藏表征中的生成痕迹和语言风格，也未利用同一文本不同截断前缀具有相同类别标签的性质。

9、总之，现有机器生成文本检测方法容易受到文本领域、主题、语言风格和生成模型差异影响，导致跨领域、跨生成模型及短文本场景检测性能下降的问题。例如，现有基于代理语言模型概率分布或隐藏表征的检测方法，通常直接使用包含语义、领域和语言风格等多种信息的混合表征进行分类，容易将特定领域或文体特征错误地学习为机器生成依据。现有基于改写、扰动或重新生成的比较方法，又需要在检测阶段调用大语言模型生成一个或多个辅助文本，容易造成检测延迟和计算资源消耗增加。

技术实现思路

1、本发明提供一种机器生成文本检测方法和系统、以及机器生成文本检测模型的训练方法、电子设备、计算机存储介质和计算机程序产品，能够减轻跨领域、跨生成模型及短文本场景检测性能下降的问题，并且在检测阶段不需要生成辅助文本，避免造成检测延迟和增加计算资源消耗。

2、第一方面，本发明提供一种机器生成文本检测方法，应用于预先训练的机器生成文本检测模型，所述机器生成文本检测模型包括代理语言模型、生成痕迹提取器、全局聚合模块和分类器，所述方法包括以下步骤：

3、获取待检测文本的词元序列和有效位置掩码；

4、将所述词元序列输入到所述代理语言模型，以由所述代理语言模型通过一次前向计算获得所述词元序列中各有效位置对应的隐藏表征，所述隐藏表征等价于对应截断前缀的末位置隐藏表征；

5、通过参数共享的生成痕迹提取器，将所述各有效位置对应的隐藏表征映射为各有效位置的局部生成痕迹表征；

6、由所述全局聚合模块对全部有效位置的局部生成痕迹表征进行全局聚合，得到所述待检测文本对应的全局生成痕迹表征；

7、将所述全局生成痕迹表征输入分类器，以得到所述待检测文本的类别判定结果。

8、在一些实施例中，上述生成痕迹提取器采用多层感知机实现，包括至少两个全连接层和位于所述全连接层之间的非线性激活函数，所述将所述各有效位置对应的隐藏表征映射为各有效位置的局部生成痕迹表征，包括：

9、对各有效位置对应的隐藏表征执行共享的低维非线性映射，以生成各有效位置的局部生成痕迹表征。

10、在一些实施例中，上述由所述全局聚合模块对全部有效位置的局部生成痕迹表征进行全局聚合，包括：

11、由所述全局聚合模块对全部有效位置的局部生成痕迹表征进行平均池化，得到所述待检测文本对应的全局生成痕迹表征。

12、第二方面，本发明还提供一种上述第一方面的机器生成文本检测模型的训练方法，包括以下步骤：

13、构建训练样本，所述训练样本包括目标文本、所述目标文本的类别标签、所述目标文本的改写文本以及所述改写文本的类别标签；其中，所述改写文本由大语言模型基于所述目标文本生成；

14、基于所述训练样本，利用分类损失和监督式对比损失对所述机器生成文本检测模型进行联合训练；

15、其中，所述监督式对比损失用于使同一类别标签的训练样本的局部生成痕迹表征或者全局生成痕迹表征相互接近，不同类别标签的训练样本的局部生成痕迹表征或者全局生成痕迹表征相互远离。

16、在一些实施例中，上述基于所述训练样本，利用分类损失和监督式对比损失对所述机器生成文本检测模型进行联合训练的过程包括第一训练阶段和第二训练阶段；

17、在所述第一训练阶段冻结所述代理语言模型中的全部主体参数，以及低秩适配参数，仅更新所述生成痕迹提取器和所述分类器的参数；

18、在所述第二训练阶段，解冻所述代理语言模型中的低秩适配参数，并与所述生成痕迹提取器和所述分类器的参数共同更新。

19、在一些实施例中，上述低秩适配参数包括设置在所述代理语言模型的注意力层的查询向量、键投向量、值向量和输出向量。

20、在一些实施例中，上述监督式对比损失通过如下方式计算：

21、提取每个训练样本最终有效位置的局部生成痕迹表征或每个训练样本的全局生成痕迹表征，作为所述训练样本的生成痕迹表征；

22、对于每个训练样本，基于类别标签相同的训练样本构成正样本集合，类别标签不相同的训练样本作为负样本；

23、基于正样本集合中每个训练样本的生成痕迹表征，以及负样本的生成痕迹表征计算监督式对比损失，以使风格相似但类别标签不同的训练样本在生成痕迹空间中分离，使风格不同但类别标签相同的训练样本在生成痕迹空间中聚合。

24、在一些实施例中，上述基于正样本集合中每个训练样本的生成痕迹表征，以及负样本的生成痕迹表征计算监督式对比损失，包括：

25、；

26、其中，为监督式对比损失，n为训练批次大小，为温度参数；为正样本集合中的一个训练样本；为训练样本的生成痕迹表征的归一化特征向量，上标表示转置；为正样本集合的训练样本的生成痕迹表征的归一化特征向量；表示除训练样本外的其它训练样本，可以构成对比样本集合，为其它训练样本的生成痕迹表征的归一化特征向量。

27、第三方面，本发明还提供一种机器生成文本检测系统，包括文本输入模块和机器生成文本检测模型，所述机器生成文本检测模型包括代理语言模型、生成痕迹提取器、全局聚合模块和分类器；

28、其中，所述文本输入模块，用于获取待检测文本的词元序列和有效位置掩码；

29、所述代理语言模型，用于通过一次前向计算获得所述词元序列中各有效位置对应的隐藏表征，所述隐藏表征等价于对应截断前缀的末位置隐藏表征；

30、所述生成痕迹提取器，用于将所述各有效位置对应的隐藏表征映射为各有效位置的局部生成痕迹表征；

31、所述全局聚合模块，用于对全部有效位置的局部生成痕迹表征进行全局聚合，得到所述待检测文本对应的全局生成痕迹表征；

32、所述分类器，用于根据所述全局生成痕迹表征得到所述待检测文本的类别判定结果。

33、在一些实施例中，上述机器生成文本检测系统还包括：

34、训练控制模块，用于构建训练样本，以及基于所述训练样本，利用分类损失和监督式对比损失对所述机器生成文本检测模型进行联合训练；

35、其中，所述训练样本包括目标文本、所述目标文本的类别标签、所述目标文本的改写文本以及所述改写文本的类别标签，所述改写文本由大语言模型基于所述目标文本生成；所述监督式对比损失用于使同一类别标签的训练样本的局部生成痕迹表征或者全局生成痕迹表征相互接近，不同类别标签的训练样本的局部生成痕迹表征或者全局生成痕迹表征相互远离。

36、第四方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种方法。

37、第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种方法。

38、第六方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种方法。

39、本发明实施例提供的技术方案，利用人类原文与机器改写文本在语义和风格上相近但生成类别不同的关系，以及不同领域同类文本风格不同但生成类别相同的关系构造监督式对比约束。仅依赖语言风格的表征无法同时满足上述两种约束，因此生成痕迹提取器需要保留与生成方式相关的稳定信息并削弱领域、主题和文体信息。再通过对全部有效截断前缀的局部生成痕迹进行全局聚合，可降低单一局部风格片段对最终判定的影响，从而提高跨领域、跨生成模型和短文本场景下的检测稳定性。

40、另外，本发明实施例中，将改写文本限定在训练阶段使用，训练完成后每个待检测文本只需执行一次代理语言模型前向计算以及轻量级映射、池化和分类。相较于检测阶段需要生成一个或多个辅助文本的方案，本发明实施例的技术方案减少了逐词元生成过程，因此能够缩短响应时间并降低计算资源消耗。

41、进一步的，本发明实施例中通过两阶段训练机制，还能够避免随机初始化上层模块在训练初期破坏代理语言模型已有表征，提高训练稳定性。

42、进一步地，本发明实施例提供的技术方案能够对数据集中的机器生成文本进行识别，并对机器生成内容的数量及比例进行统计，从而为数据来源标注、数据集组成分析以及数据筛选、去重、分级和质量控制提供技术支撑，降低未经标注的机器生成内容混入人类原创文本数据集的风险；对于用于训练大语言模型的数据集，还可辅助发现合成数据重复累积、模型生成内容回流以及训练数据分布偏移等问题，提高数据集的质量和可用性。

43、进一步地，在数据交易和数据流通过程中，本发明实施例提供的技术方案能够辅助数据提供方、数据使用方及数据交易平台核验数据产品的文本来源、内容构成及机器生成内容比例，为数据产品的验收、质量分级、价值评估和合规使用提供参考，提高数据产品内容构成的透明度和可验证性，从而为文本数据的可信流通和规范利用提供支撑。