算子测试用例的生成方法、装置、电子设备及程序产品与流程
本技术涉及计算机软件测试的领域,尤其涉及一种算子测试用例的生成方法、装置、电子设备及程序产品。
背景技术:
1、深度学习模型开发中,现有算子测试通常采用人工设计、经验规则设定或随机采样方式生成测试用例,以验证算子在不同参数和平台下的运行情况。
2、然而,上述方式在参数维度较高、组合关系复杂时难以兼顾覆盖范围与生成效率,人工和规则方法易遗漏边界场景及异构平台差异,随机采样又容易产生大量不满足约束的无效组合,导致测试资源消耗增加且用例针对性不足。
3、因此,如何在复杂参数组合及多样软硬件环境下提高算子测试用例的覆盖性和有效性以提升测试效率,成为亟需解决的技术问题。
技术实现思路
1、本技术提供一种算子测试用例的生成方法、装置、电子设备及程序产品,以解决上述技术问题。该方案面向深度学习模型开发过程中的算子测试场景,通过对用户输入的测试需求进行统一表征,并结合不同类型测试资源对测试用例进行体系化生成与组织,从而在复杂参数组合关系及多样软硬件环境下兼顾测试用例的覆盖性、有效性与生成效率。
2、第一方面,本技术提供一种算子测试用例的生成方法,方法包括:
3、接收用户输入的测试配置参数;
4、根据测试配置参数,生成测试需求模板;
5、根据测试需求模板和预设配置文件,生成静态用例集和动态用例集,静态用例集包括实际模型测试用例集和经验用例集,动态用例集包括单参数随机用例集、多参数组合用例集和噪音用例集;
6、对静态用例集和动态用例集进行组合,得到算子测试用例集。
7、这样,生成路径围绕测试配置参数限定的算子类型、精度类型和硬件平台展开,对相关约束进行前置处理,减少无效组合;同时通过静态用例集与动态用例集协同覆盖真实模型场景、边界场景、单参数变化场景、多参数耦合场景和异常扰动场景,使最终得到的算子测试用例集能够作为复杂软硬件环境下算子验证的统一输入。
8、可选地,如上的方法,根据测试需求模板和预设配置文件,生成静态用例集和动态用例集,包括:
9、根据测试需求模板,确定多个算子参数;
10、根据多个算子参数和预设配置文件,确定算子参数规则;
11、根据多个算子参数和算子参数规则,生成静态用例集和动态用例集。
12、这样,使测试需求模板输出的参数对象先被规则化,再由预设配置文件完成环境约束匹配,进而使静态用例集能够覆盖典型场景,动态用例集能够覆盖变化场景和异常场景。由此生成的用例集与目标硬件和软件环境一致性较高,且无效组合较少,能够提高算子测试用例生成的针对性和覆盖性。
13、可选地,如上的方法,根据预设配置文件,确定算子参数规则,包括:
14、确定测试配置参数对应的测试硬件和测试软件环境;
15、读取测试硬件的硬件性能参数;
16、读取测试软件环境的框架版本信息;
17、根据硬件性能参数和框架版本信息,对算子参数规则进行适配处理,得到适配处理后的算子参数规则。
18、这样,通过将环境约束前置到规则层面,系统能够在生成阶段过滤不满足承载能力或者版本要求的参数组合,并将可执行范围内的参数组合保留下来参与测试,从而提高算子测试用例与硬件平台的匹配度。该方式还使不同硬件规格和不同框架版本下的规则能够独立收敛,进而为复杂软硬件环境中的算子验证提供稳定的参数基础。
19、可选地,如上的方法,根据多个算子参数和算子参数规则,生成静态用例集和动态用例集,包括:
20、获取多个模型参数组合和预设经验规则;
21、根据算子参数规则,对多个模型参数组合进行规则映射,得到实际模型测试用例集;
22、根据预设经验规则,生成经验用例集;
23、根据多个算子参数和算子参数规则,生成单参数随机用例集、多参数组合用例集和噪音用例集。
24、这样,使输出的用例在满足算子参数规则的前提下同时兼顾典型场景、边界场景和扰动场景,从而形成结构化且可执行的算子测试数据集合。
25、可选地,如上的方法,根据多个算子参数和算子参数规则,生成单参数随机用例集、多参数组合用例集和噪音用例集,包括:
26、根据算子参数规则中的参数取值范围和参数分布规则,对单个算子参数进行采样,生成单参数随机用例集;
27、根据多个算子参数之间的参数关联规则,对多个算子参数进行组合,生成多参数组合用例集;
28、获取基础参数组合,并根据基础参数组合对至少一个算子参数施加扰动,生成噪音用例集。
29、这样,算子测试用例既能体现单变量采样特征,又能体现多参数依赖约束,还能覆盖基础场景附近的波动区域,从而形成更贴近实际运行条件的动态用例集。
30、可选地,如上的方法,根据多个算子参数之间的参数关联规则,对多个算子参数进行组合,生成多参数组合用例集,包括:
31、根据参数关联规则对多个算子参数进行关联匹配,得到多参数组合候选集;
32、对多参数组合候选集中的各参数组合进行规则计算,得到各参数组合对应的验证结果;
33、根据验证结果筛选多参数组合候选集,得到多参数组合用例集。
34、这样,通过先关联匹配再规则计算并筛选的方式,可在参数空间内保留具有测试价值的组合,同时减少不满足约束的无效组合进入测试环节,从而使多参数组合用例集更贴合算子真实运行场景,并降低冗余验证带来的资源占用。
35、可选地,如上的方法,方法还包括:
36、接收回流用例以及回流用例对应的缺陷类型信息、硬件场景信息和软件场景信息;
37、根据缺陷类型信息、硬件场景信息和软件场景信息对回流用例进行分类,得到多个回流用例类别;
38、根据多个回流用例类别,更新静态用例集。
39、这样,通过将回流用例按缺陷、硬件和软件场景进行归类,再将代表性回流用例并入静态用例集,静态用例集能够持续吸收历史缺陷样本及其场景特征,使后续测试在相同或相近条件下直接复用已确认的关键用例,从而增强静态用例集对典型缺陷场景、异构硬件场景和不同软件环境的覆盖能力,并提升算子测试的针对性与一致性。
40、可选地,如上的方法,在根据多个回流用例类别,更新静态用例集之后,包括:
41、读取回流用例中的基础参数组合;
42、对基础参数组合中的至少一个算子参数进行增量调整,得到变体参数组合;
43、基于变体参数组合,生成演化用例;
44、将演化用例写入静态用例集。
45、这样,回流用例中的有效参数信息能够被持续沉淀并扩展为新的静态样本,静态用例集的覆盖范围随回流结果逐步增长,且新增用例与既有用例保持较强相关性,从而提升算子测试场景的连续覆盖能力和用例复用效率。
46、第二方面,本技术提供一种算子测试用例的生成装置,装置包括:
47、接收模块,用于接收用户输入的测试配置参数;
48、确定模块,用于根据测试配置参数,生成测试需求模板;
49、生成模块,用于根据测试需求模板和预设配置文件,生成静态用例集和动态用例集,静态用例集包括实际模型测试用例集和经验用例集,动态用例集包括单参数随机用例集、多参数组合用例集和噪音用例集;
50、处理模块,用于对静态用例集和动态用例集进行组合,得到算子测试用例集。
51、可选地,如上的装置,生成模块具体用于:
52、根据测试需求模板,确定多个算子参数;
53、根据多个算子参数和预设配置文件,确定算子参数规则;
54、根据多个算子参数和算子参数规则,生成静态用例集和动态用例集。
55、可选地,如上的装置,生成模块具体用于:
56、确定测试配置参数对应的测试硬件和测试软件环境;
57、读取测试硬件的硬件性能参数;
58、读取测试软件环境的框架版本信息;
59、根据硬件性能参数和框架版本信息,对算子参数规则进行适配处理,得到适配处理后的算子参数规则。
60、可选地,如上的装置,生成模块具体用于:
61、获取多个模型参数组合和预设经验规则;
62、根据算子参数规则,对多个模型参数组合进行规则映射,得到实际模型测试用例集;
63、根据预设经验规则,生成经验用例集;
64、根据多个算子参数和算子参数规则,生成单参数随机用例集、多参数组合用例集和噪音用例集。
65、可选地,如上的装置,生成模块具体用于:
66、根据算子参数规则中的参数取值范围和参数分布规则,对单个算子参数进行采样,生成单参数随机用例集;
67、根据多个算子参数之间的参数关联规则,对多个算子参数进行组合,生成多参数组合用例集;
68、获取基础参数组合,并根据基础参数组合对至少一个算子参数施加扰动,生成噪音用例集。
69、可选地,如上的装置,生成模块具体用于:
70、根据参数关联规则对多个算子参数进行关联匹配,得到多参数组合候选集;
71、对多参数组合候选集中的各参数组合进行规则计算,得到各参数组合对应的验证结果;
72、根据验证结果筛选多参数组合候选集,得到多参数组合用例集。
73、可选地,如上的装置,装置还包括更新模块,更新模块用于:
74、接收回流用例以及回流用例对应的缺陷类型信息、硬件场景信息和软件场景信息;
75、根据缺陷类型信息、硬件场景信息和软件场景信息对回流用例进行分类,得到多个回流用例类别;
76、根据多个回流用例类别,更新静态用例集。
77、可选地,如上的装置,更新模块还用于:
78、读取回流用例中的基础参数组合;
79、对基础参数组合中的至少一个算子参数进行增量调整,得到变体参数组合;
80、基于变体参数组合,生成演化用例;
81、将演化用例写入静态用例集。
82、第三方面,本技术提供一种电子设备,包括:处理器,以及与处理器通信连接的存储器;
83、存储器存储计算机执行指令;
84、处理器执行存储器存储的计算机执行指令,以实现第一方面任一项的方法。
85、第四方面,本技术提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如第一方面任一项的方法。
86、第五方面,本技术提供一种计算机程序产品,包括计算机程序,计算机程序被计算机执行时实现如第一方面中任一项的方法。
87、本技术提供的算子测试用例的生成方法、装置、电子设备及程序产品,通过接收用户输入的测试配置参数,并基于测试配置参数生成测试需求模板,结合预设配置文件进一步生成包括实际模型测试用例集和经验用例集的静态用例集,以及包括单参数随机用例集、多参数组合用例集和噪音用例集的动态用例集,能够从实际场景、经验场景及参数变化场景等多个维度构建测试用例,并对静态用例集与动态用例集进行组合,进而提升算子测试用例对复杂参数组合、边界情况及多样平台环境的覆盖能力和有效性,减少无效测试资源消耗,提高测试效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com