一种语言感知级联式AI生成文本检测方法及系统与流程

本发明属于自然语言处理与人工智能安全，具体涉及一种语言感知级联式ai生成文本检测方法及系统。

背景技术：

1、随着大型语言模型（large language models,llms）如gpt-4、claude、qwen等的广泛部署，ai生成文本（ai-generated content,aigc）在学术论文、新闻报道、技术文档、社交媒体等场景中大量涌现。如何可靠地区分人类撰写文本与ai生成文本，已成为内容审核、学术诚信维护、虚假信息治理等领域的关键技术需求。

2、现有ai生成文本检测技术主要分为以下几类：

3、第一类是基于统计特征的检测方法，利用参考语言模型计算文本的困惑度、逐token熵、突发性等统计量，基于“ai文本对参考模型更平滑、更可预测”的假设进行分类，计算速度快（通常小于200ms），但对流畅、正式的高生成质量ai文本容易产生假阴性。其中，token是语言模型处理文本的基本单位，英文通常为子词或单词，中文通常为子词或字符；突发性是指逐token熵的标准差与均值之比，反映文本在token级别的不确定性波动程度，公式为burstiness=σ（htoken）/μ(htoken)，其中σ（htoken）为逐token熵的标准差，μ(htoken)为逐token熵的均值。

4、第二类是基于编码器的检测方法，在预训练语言模型基础上通过参数高效微调技术进行二分类训练，精度较高（roc-auc通常在0.95以上），但存在严重的领域漂移问题，在特定数据集上训练的模型对新型大模型生成的文本检测能力急剧下降。其中，roc-auc即受试者工作特征曲线下面积，用于衡量二分类模型的整体性能，取值范围为[0,1]，数值越高表示模型整体性能越好；参数高效微调是指仅训练模型少量参数即可实现适配的微调技术，可大幅降低训练成本与显存开销。

5、第三类是基于零样本比对的方法，典型如binoculars方法，通过对比基座模型与指令微调模型在同一文本上的交叉熵比值进行检测，无需训练数据，泛化性较好，但推理速度慢（1-3秒），且需要同时加载两个大参数模型，图形处理器（graphics processing unit,gpu）显存开销极高。

6、第四类是基于语言学风格的方法，探讨ai文本与人类文本在句长分布、词汇多样性、模糊语使用等维度的差异，但通常仅针对单一语言（以英文为主），且缺乏体系化的多层级特征工程，对中文文本的适配严重不足。

7、现有技术存在以下共性缺陷：

8、第一，检测管线缺乏语言感知能力，对中英文采用完全相同的检测策略，未考虑两种语言在语法结构、标点习惯、段落组织、书面正式程度等方面的本质差异，简单复用英文检测策略对中文正式文本的检测效果不佳；

9、第二，检测维度单一，主流方法均基于“ai文本在语言模型下更平滑”的单一假设，当ai生成文本极其流畅时，困惑度和熵特征均会失效，缺少正交的独立检测维度；

10、第三，编码器模型存在严重的领域漂移问题，传统重训练方法需要大量标注数据，且容易出现灾难性遗忘，无法快速适配新型大模型与新领域文本；

11、第四，多阶段级联策略缺乏语言特异性条件逻辑，统一的提前退出阈值与冲突仲裁规则未考虑不同语言场景下各检测阶段的可靠性差异，限制了检测精度的提升。

技术实现思路

1、为了解决现有ai生成文本检测技术中检测管线缺乏语言感知能力、中英文采用统一检测策略适配性差，检测维度单一、高流畅度ai文本识别效果不佳，多阶段检测重复执行模型前向计算导致算力与显存开销高，以及编码器模型领域漂移严重、小样本适配易产生灾难性遗忘的技术问题，本技术提出一种语言感知级联式ai生成文本检测方法及系统，以实现中英文双语检测精度与推理效率同步提升、缓解领域漂移问题、兼顾检测鲁棒性与算力成本控制的效果。

2、一种语言感知级联式ai生成文本检测方法，包括以下步骤：

3、步骤s1、文本预处理：对输入文本依次执行清洗归一化、分句分词以及边界场景校验，得到待检测文本；

4、步骤s2、语言识别路由：对待检测文本进行语言类型检测，输出语言标签及置信度，根据语言标签匹配对应语言的检测配置；

5、步骤s3、多阶段级联检测：按照与语言标签对应的条件执行逻辑，依次执行以下检测阶段，其中：

6、步骤s31、快速检测阶段：执行统计特征提取与语言学风格特征提取；所述统计特征提取利用对应语言的参考语言模型计算统计特征，输出第一ai生成概率，同时缓存逐token对数概率数据；所述语言学风格特征提取复用所述逐token对数概率数据计算部分语言学特征，结合其余语言学特征，输出第二ai生成概率；

7、步骤s32、编码器分类阶段：利用对应语言的经参数高效微调的编码器模型对待检测文本进行分类，输出第三ai生成概率；

8、步骤s33、零样本检测阶段：利用对应语言的双模型比对方法进行检测，输出第四ai生成概率；

9、步骤s4、加权集成输出：根据与语言标签对应的预设权重集合，对已输出的各ai生成概率进行归一化加权求和，应用对应语言的决策阈值，输出最终分类标签、置信度及各阶段检测结果；

10、其中，所述条件执行逻辑、预设权重集合以及决策阈值均根据语言类型进行特异性配置。

11、优选地，所述条件执行逻辑包括语言特异性执行规则：

12、当语言类型为英文时：

13、计算快速检测阶段的融合置信度c，计算公式为c=wstat×|pai1-0.5|+wling×|pai2-0.5|，

14、其中，wstat为统计特征对应的集成权重，wling为语言学风格特征对应的集成权重，pai1为第一ai生成概率，pai2为第二ai生成概率；当c＞0.49时触发提前退出，直接进入步骤s4，跳过编码器分类阶段与零样本检测阶段；若快速检测阶段与编码器分类阶段的分类结果一致，则跳过零样本检测阶段，直接对前两阶段结果进行加权集成；所述分类结果一致是指两个阶段的ai生成概率均大于对应语言的决策阈值，或均小于对应语言的决策阈值；当语言类型为中文时：

15、禁止快速检测阶段提前退出，始终执行编码器分类阶段；当第一ai生成概率小于0.50且第三ai生成概率大于等于0.35时，触发仲裁逻辑，仅采用第三ai生成概率参与加权集成；

16、始终执行零样本检测阶段作为补充检测维度，不因前序阶段结果一致而跳过；

17、中文对应的决策阈值为0.47，英文对应的决策阈值为0.50。

18、优选地，所述逐token对数概率数据的复用规则包括：

19、统计特征提取与语言学风格特征提取采用句子索引对齐的方式匹配缓存数据，即按相同的句子边界，以句子为单位传递对数概率分布统计量；

20、所述逐token对数概率数据为请求级缓存，生命周期为单次检测请求，请求结束后自动清除；

21、当缓存数据不可用时，语言学风格特征提取中将依赖缓存的特征置为缺失值，通过分类器内置的中位数填充策略补全后继续执行检测。

22、优选地，所述语言学风格特征分为微观层、中观层与宏观层共14维特征；除复用逐token对数概率计算的特征外，其余语言学特征均由中央处理器执行计算，无图形处理器依赖；

23、微观层为句子级特征，包括句长突发性、句长变异系数、句长基尼系数、句首句法重复率、token对数概率偏度、高概率token占比、模糊语密度、话语模板密度以及标点风格密度；

24、中观层为段落级特征，包括段长方差对数变换值与段落模板得分；

25、宏观层为文档级特征，包括基于mtld算法的词汇多样性、作者立场密度以及可读性指数；

26、其中，模糊语、话语模板、标点符号、第一人称代词对应的特征词表均针对中文与英文分别独立配置。

27、优选地，所述预设权重集合的具体配置为：

28、当语言类型为英文时，语言学风格特征权重为0.85，统计特征权重为0.15，编码器特征权重为0.00，零样本检测权重为0.00；

29、当语言类型为中文时，编码器特征权重为0.60，零样本检测权重为0.20，语言学风格特征权重为0.10，统计特征权重为0.10。

30、优选地，所述编码器分类阶段使用的编码器模型采用过采样持续学习方法进行领域自适应更新，所述更新方法包括以下步骤：

31、步骤a1、数据准备：收集目标领域的标注文本样本，划分为训练集、验证集与测试集；

32、步骤a2、过采样扩增：对目标领域训练集样本执行n倍过采样，n为大于1的正整数，得到过采样训练集；

33、步骤a3、混合训练：将过采样训练集与原领域训练数据集混合，构建混合训练集，对编码器模型进行参数高效微调；

34、步骤a4、双轨验证：分别在原领域测试集与目标领域测试集上验证微调后模型的性能，当目标领域检测性能达到预设标准且原领域检测准确率下降幅度不超过预设阈值时，部署更新后的编码器模型。

35、优选地，所述n取值为10，过采样后目标领域样本在混合训练集中的占比为3%-10%；

36、参数高效微调采用lora低秩适配方式，微调参数包括秩r=16、学习率2e-5、训练3个epoch、混合精度bf16；训练过程中每个epoch开始前对混合训练集全量随机打乱；

37、所述预设阈值为2个百分点，即微调后原领域检测准确率不低于微调前准确率减去2%。

38、基于上述检测方法，本发明还提供一种语言感知级联式ai生成文本检测系统，所属系统包括预处理模块、语言路由器模块、统计特征提取模块、语言学特征提取模块、编码器分类模块、零样本检测模块以及加权集成模块；

39、所述预处理模块的输出端连接所述语言路由器模块的输入端，用于将预处理得到的待检测文本传输至语言路由器模块；

40、所述语言路由器模块的文本输出端分别连接统计特征提取模块、语言学特征提取模块、编码器分类模块、零样本检测模块的文本输入端，用于分发待检测文本；所述语言路由器模块的配置输出端分别连接统计特征提取模块、语言学特征提取模块、编码器分类模块、零样本检测模块、加权集成模块的配置端，用于根据识别出的语言类型向各模块下发对应语言的检测配置；

41、所述统计特征提取模块的缓存输出端连接所述语言学特征提取模块的缓存接口，用于向语言学特征提取模块传递逐token对数概率缓存数据；所述统计特征提取模块的概率输出端连接所述加权集成模块的第一输入端；

42、所述语言学特征提取模块的概率输出端连接所述加权集成模块的第二输入端；

43、所述编码器分类模块的概率输出端连接所述加权集成模块的第三输入端；

44、所述零样本检测模块的概率输出端连接所述加权集成模块的第四输入端；

45、所述加权集成模块用于根据对应语言的权重集合与决策阈值，对各输入端接收的ai生成概率进行归一化加权集成，输出最终检测结果；

46、其中，系统各阶段的执行逻辑、集成权重与决策阈值均根据语言类型特异性配置。

47、优选地，所述统计特征提取模块与语言学特征提取模块中均内置xgboost分类器，分类器流水线包含缺失值填充单元与标准化单元，用于处理含缺失值的输入特征并输出ai生成概率；

48、所述零样本检测模块采用binoculars方法，通过比对基座模型与指令微调模型的交叉熵比值计算检测结果。

49、优选地，还包括领域自适应训练模块；所述领域自适应训练模块的模型输出端连接所述编码器分类模块的模型更新端，用于输出更新后的编码器模型参数；

50、所述领域自适应训练模块包含过采样单元、混合训练单元与双轨验证单元，所述双轨验证单元内置原领域退化阈值校验逻辑，用于通过过采样持续学习方法对编码器分类模块的模型进行领域自适应更新。

51、本技术的优点和效果如下：

52、1、本技术设计的一种语言感知级联式ai生成文本检测方法，采用语言感知的多阶段级联检测架构，根据输入文本的语言类型差异化配置执行逻辑、集成权重与决策阈值，针对中英文文本的不同检测特性分别设计检测路径与仲裁规则。突破了统一检测策略的局限，英文场景可实现90%以上请求在快速阶段高置信返回，平均响应时间低于500ms；中文场景通过仲裁逻辑与补充检测机制修正了小参数参考模型的系统性过度自信偏差，显著提升了检测鲁棒性与整体准确率。

53、2、本技术设计的一种语言感知级联式ai生成文本检测方法，采用跨阶段逐token对数概率缓存复用机制，将统计特征提取阶段的中间计算结果按句子索引对齐，传递给语言学特征提取阶段直接复用，无需重复执行语言模型前向计算。在新增正交检测维度的同时，单次检测可节省150-300ms的图形处理器推理时间，降低3-5gb显存占用，将14维语言学特征提取的增量开销降至纯中央处理器的毫秒级别，实现了精度提升与成本控制的平衡。

54、3、本技术设计的一种语言感知级联式ai生成文本检测系统，构建微观-中观-宏观三层级的双语语言学特征体系，提取14维与语言模型概率无关的风格特征，针对中英文分别配置特征词表与计算规则。形成了独立于统计概率的第二检测轴，突破了“ai文本更平滑”单一假设的局限；英文场景下语言学分类器独立roc-auc可达0.9087，与统计特征融合后进一步提升检测精度，有效增强了对高流畅度ai文本的识别能力。

55、4、本技术设计的一种语言感知级联式ai生成文本检测方法，采用基于过采样的持续学习领域自适应方法，结合小样本过采样扩增、混合训练与全量随机打乱策略，并设置双轨验证回滚保护机制。仅需百级目标领域样本即可实现快速适配，目标领域文本的ai生成概率可从0.01以下提升至0.99以上，样本召回率达100%；同时将原领域准确率下降控制在2个百分点以内，有效缓解了领域漂移与灾难性遗忘问题。

56、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

57、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。