一种大语言模型危害意图评测数据生成与验证方法

本发明涉及人工智能安全，尤其涉及一种大语言模型危害意图评测数据生成与验证方法。

背景技术：

1、随着大语言模型在人机对话、智能助手、内容审核、在线教育、跨境电商、国际商务和公共服务等场景中的广泛应用，模型需要在不同语言、地区、社会关系和文化表达方式下识别用户请求中的真实意图，并在安全边界内给出恰当响应。现有大语言模型安全评测通常集中于显性有害请求，例如直接询问违法操作、欺诈方法、暴力行为或歧视性表达。该类评测能够覆盖一部分高风险场景，但在跨文化应用中仍存在不足：同一危害意图可能被包装成家庭责任、社区规范、礼貌建议、管理流程、习俗、代际义务或专业咨询，从而呈现为表面中性、含义间接、语用上更隐蔽的请求。

2、另一方面，现有跨文化数据生成方法主要关注文化知识问答、礼仪解释、文化差异比较和教育性对话，往往缺少对危害意图标签一致性、安全风险保持和良性文化内容误拒绝问题的控制。简单地将安全评测样本翻译为多语言或套入文化模板，容易造成危害意图漂移、刻板印象强化、标签不一致以及训练集与评测集泄漏等问题。例如，在招聘、预算审批、社区访问、家庭关系、学校管理和安全权限分配等场景中，某些回答可能不直接使用歧视性词汇，却通过“先给予较低权限”“增加审查”“限制接触范围”“分阶段观察”等表达，将身份、地区或文化背景与差别待遇相连接。若模型无法识别此类隐性风险，可能在实际应用中输出表面合理但实质不公平或不安全的建议；反之，若模型仅依据文化身份或文化习俗触发拒答，又可能误伤良性文化交流。

3、因此，亟需一种能够将危害意图与文化语境解耦建模、在跨文化语境参数空间内构造候选评测样本、并通过自动验证与良性对照机制保证标签一致和安全边界可解释的方法，以评估大语言模型在跨文化语境扰动下对危害意图的识别鲁棒性。

4、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供了一种大语言模型危害意图评测数据生成与验证方法，以解决现有技术中存在的上述技术问题。本发明所述方法通过危害意图与文化语境解耦、成对对照样本构造、多阶段自动验证和困难样本反馈机制，使安全评测从一次性提示词集合扩展为可复现、可验证、可迭代的跨文化鲁棒性评测流程。

2、本发明的目的是通过以下技术方案实现的：

3、一种大语言模型危害意图评测数据生成与验证方法，所述方法包括：

4、步骤1、获取包含危害类别和危害意图描述的基础危害行为样本，并将其转换为结构化危害意图表示；所述危害意图表示包括行为主体、目标对象、危害类别、社会关系和操作性意图；

5、步骤2、构建文化语境参数空间，将危害意图表示映射至文化语境参数空间，生成候选跨文化场景请求；其中，所述文化语境参数空间包括语言表达参数、地区或文化背景参数、社会关系参数、礼貌等级参数、场景参数、语用表达参数和良性文化对照参数；

6、步骤3、对候选跨文化场景请求执行危害意图保持校验、文化语境有效性校验、刻板印象及歧视性表达过滤、可操作危害细节过滤和近重复样本去重，得到通过校验的候选请求；

7、步骤4、针对通过校验的候选请求，生成对应的良性文化对照请求和安全响应样本，构造成对评测样本集合；

8、步骤5、将成对评测样本集合输入待评测大语言模型，获得模型响应，根据模型响应生成安全评测结果，并将模型漏检、误拒或响应不一致样本加入困难样本集合，以反馈调整评测数据生成策略。

9、与现有技术相比，本发明所提供的方法通过危害意图与文化语境解耦、成对对照样本构造、多阶段自动验证和困难样本反馈机制，使安全评测从一次性提示词集合扩展为可复现、可验证、可迭代的跨文化鲁棒性评测流程，评估并提升大语言模型在跨文化语境扰动下对危害意图的识别鲁棒性，降低对良性文化内容的误拒绝风险。

1.一种大语言模型危害意图评测数据生成与验证方法，其特征在于，所述方法包括：

2.根据权利要求1所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤1中，危害意图表示为五元组：

3.根据权利要求2所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤2中，文化语境参数空间用于描述请求在不同语言、文化和社会语用条件下的表达变化，设文化语境参数集合为 c，社会关系参数集合为 r，语用表达策略集合为 s，则候选跨文化场景请求表示为：

4.根据权利要求3所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤2中，所述候选跨文化场景请求由多个智能体协同生成，包括用于保持危害意图的风险分析智能体，用于保证语境自然性的文化语境智能体，用于将显性危害表达转换为间接或表面中性请求的隐性改写智能体，用于过滤可操作危害细节和刻板印象表达的安全审计智能体，以及用于预测模型响应类型的泄漏分类智能体，模型响应类型包括不安全遵从、隐性偏见延续、过度拒答或部分遵从；

5.根据权利要求1所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤3中， 具体校验过程为：

6.根据权利要求1所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤4中，为每个通过校验的候选请求生成对应的良性文化对照请求和安全响应样本，构成成对评测样本集合，包括风险请求、良性文化对照请求、安全响应、不安全响应和元数据，表示为：

7.根据权利要求5所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤5中，用成对评测样本集合对待评测大语言模型进行响应测试，根据模型响应生成安全评测结果，设成对评测样本集合中风险请求数量为，良性文化对照请求数量为；对第i个风险请求的模型响应记为，由安全判别器、规则校验器或多评审一致性机制对响应进行判定，各项指标计算方式如下：

8.根据权利要求7所述大语言模型危害意图评测数据生成与验证方法，其特征在于，在步骤5中，将模型漏检、误拒或响应不一致样本加入困难样本集合，以反馈调整评测数据生成策略，具体过程为：

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任意一项所述方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至8中任意一项所述方法。