一种谎言循环攻击检测方法及电子设备与流程

本申请涉及网络安全，尤其涉及一种谎言循环攻击检测方法及电子设备。

背景技术：

1、随着预训练语言模型（large language model，llm）在各领域的广泛部署，其执行敏感操作（如运行系统命令、修改文件、访问网络资源）时所依赖的人在回路（human-in-the-loop，hitl）安全措施，被开放全球应用程序安全项目（open worldwide applicationsecurity project，owasp）列为应对提示注入等漏洞的推荐缓解措施。但当前的谎言循环（lies-in-the-loop，litl）攻击表明，攻击者可通过污染llm的外部数据源实施间接提示注入，诱导模型将恶意负载伪装成带有冗长无害描述的操作摘要，而现有hitl措施缺乏对操作摘要与原始上下文之间语义一致性的校验能力，完全依赖用户肉眼识别，极易导致用户在不知情的情况下误批准危险操作。因此，如何对谎言循环攻击进行检测，以在hitl交互环节前置拦截欺诈性操作请求，成为本领域技术人员需要解决的问题。

技术实现思路

1、本申请提供了一种谎言循环攻击检测方法及电子设备，以至少解决相关技术中依赖用户对谎言循环攻击进行识别，导致用户在不知情的情况下误批准危险操作，造成将恶意操作误判为安全操作风险高的问题。

2、本申请提供了一种谎言循环攻击检测方法，包括：

3、获取预训练语言模型基于待处理任务生成的响应信息；其中，响应信息包括解释文本和拟执行指令，解释文本为预训练语言模型生成的、用于在人在回路确认阶段向用户展示的操作描述文本，拟执行指令为预训练语言模型生成的待执行指令；

4、获取响应信息所依据的原始输入上下文；

5、根据解释文本、原始输入上下文以及拟执行指令，确定拟执行指令是否存在谎言循环攻击。

6、本申请还提供了一种谎言循环攻击检测装置，包括：

7、第一获取模块，用于获取预训练语言模型基于待处理任务生成的响应信息；其中，响应信息包括解释文本和拟执行指令，解释文本为预训练语言模型生成的、用于在人在回路确认阶段向用户展示的操作描述文本，拟执行指令为预训练语言模型生成的待执行指令；

8、第二获取模块，用于获取响应信息所依据的原始输入上下文；

9、确定模块，用于根据解释文本、原始输入上下文以及拟执行指令，确定拟执行指令是否存在谎言循环攻击。

10、本申请还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任一种谎言循环攻击检测方法的步骤。

11、本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种谎言循环攻击检测方法的步骤。

12、本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种谎言循环攻击检测方法的步骤。

13、由上述技术方案可以看出，本发明的有益效果在于：

14、本申请提供了一种谎言循环攻击检测方法，包括：获取预训练语言模型基于待处理任务生成的响应信息；其中，响应信息包括解释文本和拟执行指令，解释文本为预训练语言模型生成的、用于在人在回路确认阶段向用户展示的操作描述文本，拟执行指令为预训练语言模型生成的待执行指令；获取响应信息所依据的原始输入上下文；根据解释文本、原始输入上下文以及拟执行指令，确定拟执行指令是否存在谎言循环攻击。

15、由此可见，本申请通过获取预训练语言模型生成的、包含解释文本和拟执行指令的响应信息以及该响应信息所依据的原始输入上下文，并根据解释文本、原始输入上下文和拟执行指令三者综合确定拟执行指令是否存在谎言循环攻击，实现了对谎言循环攻击的自动检测，本申请无需用户人工比对解释文本与原始上下文之间的一致性，因此能够有效避免用户在不知情的情况下误批准危险操作的情况，从而在hitl交互环节前置拦截具有欺诈性的操作请求，提高了检测的准确性，降低了将恶意操作误判为安全操作的风险。

16、此外，本发明还提供了一种电子设备，具有相应的优点。

1.一种谎言循环攻击检测方法，其特征在于，包括：

2.根据权利要求1所述的谎言循环攻击检测方法，其特征在于，所述根据所述解释文本、所述原始输入上下文以及所述拟执行指令，确定所述拟执行指令是否存在谎言循环攻击，包括：

3.根据权利要求2所述的谎言循环攻击检测方法，其特征在于，根据所述解释文本和所述原始输入上下文，确定语义偏离度，包括：

4.根据权利要求2所述的谎言循环攻击检测方法，其特征在于，根据所述拟执行指令，确定恶意置信度，包括：

5.根据权利要求2所述的谎言循环攻击检测方法，其特征在于，根据所述拟执行指令和所述解释文本，确定信息隐藏密度，包括：

6.根据权利要求2所述的谎言循环攻击检测方法，其特征在于，根据所述语义偏离度、所述恶意置信度和所述信息隐藏密度，确定综合风险评分，包括：

7.根据权利要求2所述的谎言循环攻击检测方法，其特征在于，根据所述综合风险评分，确定所述拟执行指令是否存在谎言循环攻击，包括：

8.根据权利要求7所述的谎言循环攻击检测方法，其特征在于，还包括：

9.根据权利要求2所述的谎言循环攻击检测方法，其特征在于，还包括：

10.一种电子设备，其特征在于，包括：