智能代理系统的动作执行方法、执行装置和存储介质与流程

本技术涉及智能代理，尤其涉及一种智能代理系统的动作执行方法、执行装置和存储介质。

背景技术：

1、目前，智能代理系统（如集成于telegram、slack、企业微信、邮件客户端或桌面端的智能助手）已经从对话工具演变成能够自主执行复杂任务的自动化执行工具，用户在智能代理系统中输入一句指令后，智能代理系统会进一步访问相关文本（例如，外部网页、外部文档等），基于从相关文件获取的信息生成动作参数，进而基于动作参数执行动作（例如，整理文档、修改文档、发送邮件），例如，当用户在智能代理系统中输入的指令为帮我把今天的会议纪要发给张总时，智能代理系统访问外部协作文档，从外部协作文档中提取张总的邮件地址这一动作参数，并自动向该地址发送会议纪要。

2、然而，不同来源的文本的可信度存在明显差异，例如，相较于外部网页、外部文档等外部文本，用户直接输入的指令文本通常更不易被篡改，可信度更高，目前，智能代理系统无法识别生成动作参数依据的文本的来源，在动作参数是基于容易被篡改的高风险文本生成时依然直接执行动作，容易出现文档被误改以及将敏感信息发送至错误的目标对象等安全事故。

技术实现思路

1、本技术提供了一种智能代理系统的动作执行方法、智能代理系统的动作执行装置、计算机可读存储介质和电子设备，以解决现有技术中智能代理系统执行动作容易引发安全事故的问题。

2、第一方面，本技术提供了一种智能代理系统的动作执行方法，所述方法包括：根据用于生成目标动作的动作参数的上下文片段的来源类型，给所述上下文片段标注来源编码；将所述上下文片段输入智能代理系统的大模型，并获取所述大模型输出的所述动作参数和所述动作参数的来源编码列表，所述来源编码列表包括生成所述动作参数所依据的上下文片段的来源编码；根据所述动作参数的来源编码列表，确定所述目标动作的风险值；在所述风险值满足第一预设条件时，控制所述智能代理系统的执行工具基于所述动作参数执行所述目标动作，所述第一预设条件为所述风险值小于第一预设值。

3、可选的，所述动作参数有多个，所述来源编码列表有多个，所述动作参数与所述来源编码列表一一对应，根据所述动作参数的来源编码列表，确定所述目标动作的风险值，包括：获取所述目标动作的所有的动作参数的来源编码列表中的来源编码的风险分数，所述来源编码的风险分数与所属的上下文片段的来源类型相关，且与所属的上下文片段的可信度负相关；对于每个所述动作参数，基于所述动作参数的来源编码列表中的所有的来源编码的风险分数，确定所述动作参数的风险分数，所述动作参数的风险分数为所述动作参数的来源编码列表中的所有来源编码的风险分数中的最大值；基于所有的所述动作参数的风险分数，确定第一目标风险分数，所述第一目标风险分数为所有的所述动作参数的风险分数中的最大值；基于所述第一目标风险分数，确定所述风险值。

4、可选的，基于所述第一目标风险分数，确定所述风险值，包括：获取所述目标动作的动作类型和风险动作参数数量，所述风险动作参数数量为所述目标动作的动作参数的总数量与安全动作参数的数量的差值，所述安全动作参数为来源编码列表中的所有来源编码均为目标来源编码的安全动作参数，所述目标来源编码为所属的上下文片段的来源类型为用户当前线程直接输入的来源编码；基于所述目标动作的动作类型，确定第二目标风险分数，所述第二目标风险分数与所述目标动作引发安全事故的风险程度正相关；计算所述第一目标风险分数、所述第二目标风险分数和预设倍数的所述风险动作参数数量的和，得到所述风险值。

5、可选的，在根据所述动作参数的来源编码列表，确定所述目标动作的风险值之后，所述方法包括：在所述风险值不满足所述第一预设条件且满足第二预设条件时，生成提示信息，并基于所述动作参数，执行所述目标动作，所述第二预设条件为所述风险值小于第二预设值，所述第二预设值大于所述第一预设值，所述提示信息包括所述动作参数、所述来源编码列表和所述风险值。

6、可选的，在根据所述动作参数的来源编码列表，确定所述目标动作的风险值之后，所述方法包括：在所述风险值不满足所述第二预设条件且满足第三预设条件，生成审批信息，所述第三预设条件为所述风险值小于第三预设值，所述第三预设值大于所述第二预设值，所述审批信息包括所述动作参数、所述来源编码列表和所述风险值;在接收到用户的确认指令时，基于所述动作参数，执行所述目标动作。

7、可选的，在根据所述动作参数的来源编码列表，确定所述目标动作的风险值之后，所述方法包括：在所述风险值不满足所述第三预设条件时，生成所述审批信息，所述第三预设条件为所述风险值小于第三预设值，所述第三预设值大于所述第二预设值;在接收到所述确认指令时，发送验证信息，所述验证信息用于请求用户输入设备验证码；在所述用户输入的设备验证码与预设验证码相同时，基于所述动作参数，执行所述目标动作。

8、可选的，在生成审批信息之前，所述方法包括：对于每个所述动作参数，计算所述动作参数的哈希值，得到所述动作参数的第一动作参数哈希值；计算所述目标动作的目标对象的标识的哈希值，得到第一标识哈希值；基于所述动作参数，执行所述目标动作，包括：对于每个所述动作参数，计算所述动作参数的哈希值，得到所述动作参数的第二动作参数哈希值；计算所述目标动作的目标对象的标识的哈希值，得到第二标识哈希值；在每个所述动作参数的第一动作参数哈希值和所述动作参数的第二动作参数哈希值相同且所述第一标识哈希值和所述第二标识哈希值相同时，基于所述动作参数，执行所述目标动作。

9、第二方面，本技术提供了一种智能代理系统的动作执行装置，所述装置包括：编码单元，用于根据用于生成目标动作的动作参数的上下文片段的来源类型，给所述上下文片段标注来源编码；获取单元，用于将所述上下文片段输入智能代理系统的大模型，并获取所述大模型输出的所述动作参数和所述动作参数的来源编码列表，所述来源编码列表包括生成所述动作参数所依据的上下文片段的来源编码；确定单元，用于根据所述动作参数的来源编码列表，确定所述目标动作的风险值；控制单元，用于在所述风险值满足第一预设条件时，控制所述智能代理系统的执行工具基于所述动作参数执行所述目标动作，所述第一预设条件为所述风险值小于第一预设值。

10、第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一种所述的智能代理系统的动作执行方法的步骤。

11、第四方面，本技术还提供了一种电子设备，所述电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现任一种所述的智能代理系统的动作执行方法的步骤。

12、本技术实施例中，根据用于生成目标动作的动作参数的上下文片段的来源类型，给上下文片段标注来源编码，将上下文片段输入智能代理系统的大模型，并获取大模型输出的动作参数和动作参数的来源编码列表，来源编码列表包括生成动作参数所依据的上下文片段的来源编码，以确定生成目标动作的动作参数的上下文片段的来源类型，然后，根据动作参数的来源编码列表，确定目标动作的风险值，该风险值反映了生成目标动作的动作参数所依据的上下文片段的可信度，最后，在风险值满足第一预设条件时，确定执行目标动作引发安全事故的风险低，控制智能代理系统的执行工具基于动作参数执行目标动作，第一预设条件为风险值小于第一预设值，进而减少了智能代理系统执行目标动作引发安全事故的风险，解决了现有技术中智能代理系统执行动作容易引发安全事故的问题。