一种面向智能体评测的评测证据包生成方法及设备与流程

摘要: 本发明涉及数据处理,尤其涉及一种面向智能体评测的评测证据包生成方法及设备。背景技术:1、现有技术中,隔离执行环境和远程命令执行已经较为成熟。例如,云端代码沙箱通...
一种面向智能体评测的评测证据包生成方法及设备与流程

本发明涉及数据处理,尤其涉及一种面向智能体评测的评测证据包生成方法及设备。

背景技术:

1、现有技术中,隔离执行环境和远程命令执行已经较为成熟。例如,云端代码沙箱通常支持创建沙箱、读写文件、运行命令、获取标准输出和标准错误;容器运行时支持容器日志、命令执行和文件系统访问;恶意样本分析平台在沙箱中运行样本并收集系统调用、网络事件、文件系统变化和日志等。但是执行环境的生命周期、文件输入输出、命令执行、日志采集和结果持久化没有被统一建模为评测执行尝试内的可审计步骤。不同执行环境提供方的文件接口、命令接口和日志接口差异较大,运行器代码容易与具体后端耦合。若任务输入通过挂载、复制、下载等多种方式进入环境,平台难以获取各执行尝试实际输入数据。

技术实现思路

1、本发明提供了一种面向智能体评测的评测证据包生成方法及设备,以提高评测证据的完整性和可追溯性。

2、第一方面,本发明实施例提供了一种面向智能体评测的评测证据包生成方法,该方法包括:

3、根据获取的目标用户输入的目标任务的评测任务信息,生成目标任务的当前执行尝试及当前执行尝试对应的冻结运行载荷,评测任务信息包括:任务标识、数据样本、被测智能体版本、评判规则和运行环境配置信息;

4、根据冻结运行载荷,创建当前执行尝试对应的受控执行环境;

5、根据受控执行环境的环境访问数据,生成当前执行尝试对应的环境引用,环境访问数据包括:环境实例标识、环境控制端点、访问令牌、访问令牌到期时间和环境标准工作目录;

6、根据环境引用,确定后端创建位置,并在后端创建位置生成环境访问适配层;

7、将根据评测任务信息确定的至少一个数据层对应的待输入数据按照各数据层的优先级顺序输入环境访问适配层,生成当前输入清单,当前输入清单包括:各待输入数据的语义路径、执行环境内路径、来源目录、文件摘要和可用轮次;

8、获取至少一个待执行步骤及各待执行步骤对应的步骤结构化记录,待执行步骤包括:智能体部署步骤、任务准备脚本执行步骤、智能体启动运行步骤、步骤级快照采集步骤、产物采集持久化步骤、评判证据暂存步骤及环境收尾处置步骤;

9、将当前输入清单及各待执行步骤对应的步骤结构化记录封装,得到目标任务的评测证据包,以使运维人员可通过评测证据包,复现目标任务对应的智能体评测全流程。

10、第二方面,本发明实施例还提供了一种面向智能体评测的评测证据包生成设备,面向智能体评测的评测证据包生成设备包括:

11、至少一个处理器;以及

12、与至少一个处理器通信连接的存储器;其中,

13、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的面向智能体评测的评测证据包生成方法。

14、本发明实施例的技术方案,通过引入环境访问适配层中间抽象架构,依托环境引用自动识别本地/远程后端环境,向上输出统一标准化文件、命令、进程操作接口;底层可替换容器、虚拟机、云端沙箱、远程主机等任意受控执行载体,无需修改上层评测业务逻辑,进一步的,将输入审计清单、全流程分步结构化记录统一封装为独立评测证据包,内置全局关联索引与完整性哈希校验,解决现有技术输入日志、环境日志、快照、产物分散存储于多套存储系统、调取繁琐、证据易丢失的问题。

15、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种面向智能体评测的评测证据包生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取至少一个待执行步骤及各所述待执行步骤对应的步骤结构化记录,待执行步骤包括:智能体部署步骤、任务准备脚本执行步骤、智能体启动运行步骤、步骤级快照采集步骤、产物采集持久化步骤、评判证据暂存步骤及环境收尾处置步骤,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述冻结运行载荷,创建所述当前执行尝试对应的受控执行环境,包括:

4.根据权利要求1所述的方法,其特征在于,所述预设检查点包括:输入暂存完成检查点、智能体部署完成检查点、智能体运行中途定时检查点、智能体执行失败及取消终止检查点。

5.根据权利要求1所述的方法,其特征在于,所述将根据评测任务信息确定的至少一个数据层对应的待输入数据按照各数据层的优先级顺序输入环境访问适配层,生成当前输入清单,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述环境引用,确定后端创建位置,并在所述后端创建位置生成环境访问适配层,包括:

7.根据权利要求2所述的方法,其特征在于,所述当待执行步骤为评判证据暂存步骤时,根据评判规则对应的评分契约筛选可用证据,过滤密钥文件、私有会话目录、平台内部控制文件及无关调试文件,将筛选后的证据通过环境访问适配层写入评判专属受控环境,生成记载证据来源、文件摘要、文件排除明细的评判证据清单,并生成步骤结构化记录之后,还包括:

8.根据权利要求2所述的方法,其特征在于,在所述当待执行步骤为环境收尾处置步骤时,清理环境内临时文件及残留进程,根据环境复用策略对受控执行环境做校验复用、刷新或销毁处理,根据环境处置结果、复用校验记录及释放时间生成步骤结构化记录之前,还包括:

9.根据权利要求1所述的方法,其特征在于,所述评测证据包还包括环境引用摘要、全局关联索引和全局哈希校验摘要。

10.一种面向智能体评测的评测证据包生成设备,其特征在于,所述面向智能体评测的评测证据包生成设备包括: