模糊测试覆盖处理方法、装置及计算设备与流程
本申请实施例涉及软件测试领域,具体涉及一种模糊测试覆盖处理方法、装置及计算设备。
背景技术:
1、ai计算加速设备通过高速外围组件互连(peripheral component interconnectexpress,pcie)总线接入主机,为ai训练、推理等任务提供硬件加速。此类设备的驱动程序运行于操作系统内核态,连接上层计算框架与底层加速硬件,与真实硬件紧密耦合,驱动缺陷可能引发系统崩溃、资源泄漏或设备不可恢复。
2、为解决上述技术问题,需要执行自动化模糊测试(fuzzing)并分析代码覆盖情况。目前,测试人员通常使用覆盖率引导的模糊测试框架,根据驱动暴露的设备文件、控制接口等入口描述自动生成并执行大量输入。测试执行过程中,在线覆盖反馈机制记录新增执行路径,用于筛选输入。测试结束后,累计覆盖统计机制形成源码级覆盖报告。测试可以在虚拟执行环境中进行,也可以直接使用真实加速设备。虚拟执行环境的设备模型、资源分配和中断行为与真实设备存在差异,仅凭虚拟环境的测试结果难以确认依赖真实设备行为的驱动路径已被验证。真实加速设备数量有限、隔离要求高、恢复成本高,难以长期承受高强度随机输入,不适合承担全部测试任务。在线覆盖反馈与累计覆盖统计若混用,会使测试过程的探索依据与测试结束后的审计依据不一致,测试可信度下降。此外,覆盖报告通常仅展示最终结果,未覆盖区域的成因难以从报告中获知。
3、综上,现有技术存在设备驱动模糊测试的覆盖结论可信度不足、测试结果难以指导后续测试的技术问题。
技术实现思路
1、本申请实施例提供一种模糊测试覆盖处理方法、装置及计算设备,可以解决现有技术中设备驱动模糊测试的覆盖结论可信度不足、测试结果难以指导后续测试的技术问题。
2、第一方面,本申请实施例提供一种模糊测试覆盖处理方法,该方法包括:
3、获取待测驱动的测试配置信息,将所述待测驱动同步至测试环境,启用覆盖插桩,以记录所述待测驱动的源码标识和构建标识;
4、在虚拟执行环境中,根据所述测试配置信息对所述待测驱动执行覆盖率引导的模糊测试,根据测试执行过程中的在线覆盖反馈信息进行输入筛选,在测试窗口结束后获取第一累计覆盖证据;
5、在真实加速设备环境中,对所述待测驱动受控执行测试,获取第二累计覆盖证据;
6、以所述第一累计覆盖证据为主覆盖基准,根据所述源码标识和所述构建标识对所述第二累计覆盖证据进行一致性审计;若所述审计通过,则将所述第二累计覆盖证据合并至所述主覆盖基准得到合并覆盖结果;若所述审计未通过,则保留所述第二累计覆盖证据并记录不可合并原因;
7、从合并覆盖结果中提取未触达区域,根据所述未触达区域的成因对所述未触达区域进行分类,并根据所述未触达区域的分类结果生成对应的补强任务;
8、根据所述补强任务对所述待测驱动执行补充测试,获取新的覆盖证据,将所述新的覆盖证据合并至合并覆盖结果,并根据所述补强任务的执行结果与预设的发布资格条件,确定是否更新长期覆盖基线;在确定不更新所述长期覆盖基线的情况下,根据所述新的覆盖证据再次提取未触达区域。
9、第二方面,本申请实施例提供一种模糊测试覆盖处理装置,该装置包括:
10、输入输出模块,被配置为获取待测驱动的测试配置信息,并输出合并覆盖结果、补强任务和长期覆盖基线;
11、处理模块,被配置为将所述待测驱动同步至测试环境并启用覆盖插桩,记录所述待测驱动的源码标识和构建标识;在虚拟执行环境中,根据所述测试配置信息对所述待测驱动执行覆盖率引导的模糊测试,根据测试执行过程中的在线覆盖反馈信息进行输入筛选,在测试窗口结束后获取第一累计覆盖证据;在真实加速设备环境中,对所述待测驱动受控执行测试,获取第二累计覆盖证据;以所述第一累计覆盖证据为主覆盖基准,根据所述源码标识和所述构建标识对所述第二累计覆盖证据进行一致性审计;若所述审计通过,则将所述第二累计覆盖证据合并至所述主覆盖基准得到所述合并覆盖结果;若所述审计未通过,则保留所述第二累计覆盖证据并记录不可合并原因;从所述合并覆盖结果中提取未触达区域,根据所述未触达区域的成因对所述未触达区域进行分类,并根据所述未触达区域的分类结果生成所述补强任务;根据所述补强任务对所述待测驱动执行补充测试,获取新的覆盖证据,将所述新的覆盖证据合并至所述合并覆盖结果,并根据所述补强任务的执行结果与预设的发布资格条件,确定是否更新所述长期覆盖基线;在确定不更新所述长期覆盖基线的情况下,根据所述新的覆盖证据再次提取未触达区域。
12、第三方面,本申请实施例提供一种计算设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现第一方面所述的模糊测试覆盖处理方法。
13、第四方面,本申请实施例提供一种芯片,该芯片中包括与收发器耦合的处理器,用于执行本申请实施例第一方面提供的模糊测试覆盖处理方法。在一种可能的设计中,该芯片还可以是用来实现以上第一方面提供的模糊测试覆盖处理方法的专用硬件结构。
14、相较于现有技术,本申请实施例中,通过在虚拟执行环境中执行覆盖率引导的模糊测试获取在线覆盖反馈信息和第一累计覆盖证据,并在真实加速设备环境中受控执行测试获取第二累计覆盖证据,依赖真实设备行为的驱动路径的覆盖情况得以验证,且无需真实加速设备承担全部测试任务;其中,在线覆盖反馈信息仅用于测试执行过程中的输入筛选,累计覆盖证据在测试窗口结束后获取,测试过程的探索依据与测试结束后的审计依据保持一致;通过以第一累计覆盖证据为主覆盖基准、对第二累计覆盖证据进行一致性审计,审计通过时将第二累计覆盖证据合并至主覆盖基准、审计未通过时记录不可合并原因,两类环境中得到的覆盖证据能够统一合并,覆盖结论的可信度得以提高;通过从合并覆盖结果中提取未触达区域、按成因分类并生成对应的补强任务,再根据补强任务执行补充测试并按发布资格条件确定是否更新长期覆盖基线,未覆盖区域的成因得以明确,测试结果能够指导后续测试。本申请实施例能够解决现有技术中设备驱动模糊测试的覆盖结论可信度不足、测试结果难以指导后续测试的技术问题。
1.一种模糊测试覆盖处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据测试执行过程中的在线覆盖反馈信息进行输入筛选,包括:
3.根据权利要求1所述的方法,其特征在于,所述对所述待测驱动受控执行测试,包括:
4.根据权利要求1所述的方法,其特征在于,所述记录所述待测驱动的源码标识和构建标识,还包括:
5.根据权利要求4所述的方法,其特征在于,所述对所述第二累计覆盖证据进行一致性审计,还包括:
6.根据权利要求5所述的方法,其特征在于,所述执行所述一致性审计,包括:
7.根据权利要求1所述的方法,其特征在于,对所述待测驱动执行覆盖率引导的模糊测试的过程中,所述方法还包括:
8.根据权利要求1所述的方法,其特征在于,所述从合并覆盖结果中提取未触达区域,根据所述未触达区域的成因对所述未触达区域进行分类,包括:
9.根据权利要求8所述的方法,其特征在于,所述根据所述未触达区域的分类结果生成对应的补强任务,包括:
10.根据权利要求9所述的方法,其特征在于,所述生成调整入口描述、资源依赖、聚焦配置或种子语料的补强任务,包括:
11.根据权利要求9所述的方法,其特征在于,所述生成对应的补强任务之后,所述方法还包括:
12.根据权利要求1所述的方法,其特征在于,所述根据所述补强任务的执行结果与预设的发布资格条件,确定是否更新长期覆盖基线,包括:
13.一种模糊测试覆盖处理装置,其特征在于,所述装置包括:
14.一种计算设备,其特征在于,其包括存储器,处理器及存储在存储器上并在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序以实现权利要求1-12中任一项所述的模糊测试覆盖处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com