一种测试案例完整性的综合检验方法及系统与流程

1.本发明涉及软件测试技术领域，尤其涉及一种测试案例完整性的综合检验方法及系统。


背景技术：

2.测试案例，也就是测试用例，它的定义是指对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。其内容包括测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等，最终形成文档。简单地认为，测试案例是为了某个特殊目标而编写的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定软件需求。
3.在软件测试行业，测试案例的设计和编制是软件测试活动中最重要的。测试案例是测试工作的指导，是软件测试必须遵守的准则，更是软件测试质量稳定的根本保障。如果测试案例足够详尽完整，无论谁来执行测试，通过参照测试案例，都能较好地保障测试质量，从而降低软件测试过程中的人为因素影响。
4.目前在项目测试工作中，针对测试案例完整性的检验通常是通过案例评审的方式，对项目人力成本消耗较大，且具有一定的主观性，因此急需一种基于机控的自动化方式检验测试案例的完整性。


技术实现要素：

5.为解决现有技术的不足，本发明提出一种测试案例完整性的综合检验方法及系统，通过案例字段、案例数量两个维度综合性的对目标测试案例的完整性进行检验，测试案例字段必输项校验对案例字段进行校验，将字段缺失的测试案例展示给客户，深度学习对项目测试案例数量进行预测，将预测结果与实际编写案例数量对比，对案例数量进行校验，从而通过机控的方式用两种不同方法对测试案例的完整性实现校验。
6.为实现以上目的，本发明所采用的技术方案包括：
7.一种测试案例完整性的综合检验方法，其特征在于，包括：
8.s1、检验测试案例字段合理性；
9.s2、检验测试案例数量合理性；
10.s3、根据测试案例的字段合理性和数量合理性评价测试案例的完整性；
11.所述步骤s1与s2具有相同优先级且可并行同时执行；
12.所述步骤s1进一步包括以下分步骤：
13.s11、导入待检验的测试案例；
14.s12、根据预设的必要字段，对测试案例进行必要字段的逐一非空校验；
15.s13、当测试案例中存在检验为空的必要字段时，生成字段合理性提示；
16.所述步骤s2进一步包括以下分步骤：
17.s21、导入待检验的测试案例所对应的测试项目指标；
18.s22、将测试项目指标输入预先训练得到的神经网络模型，计算得到针对待检验的
测试案例的预测案例数量；
19.s23、比较预测案例数量与待检验的测试案例的实际案例数量，当实际案例数量相较预测案例数量超出预设阈值时，生成数量合理性提示。
20.进一步地，所述预设的必要字段包括案例名称字段、案例描述字段、测试工具字段、案例类型字段和操作步骤字段。
21.进一步地，所述生成字段合理性提示包括：
22.将存在检验为空的必要字段的测试案例依照检验为空的必要字段种类进行分类；
23.生成针对不同分类的字段合理性提示。
24.进一步地，所述测试项目指标包括：
25.项目测试周期，单位为天；
26.项目测试工作量，为单位为人/天；
27.项目新增功能模块数，以实际涉及新增的功能模块数量计算；
28.项目变更功能模块数，以实际涉及变更的功能模块数量计算；
29.项目关联功能模块的重要程度，以1至5的整数表示，其中最重要为5、最不重要为1；
30.项目案例关联功能模块是否涉及动账，以0或1表示，其中0为不涉及、1为涉及；
31.项目案例关联功能模块的使用频率，以1至5的整数表示，其中最频繁为5、最不频繁为1；
32.系统历史缺陷率，以百分比计算。
33.进一步地，所述预先训练得到的神经网络模型通过采集历史项目数据以误差反向传播算法迭代计算获得。
34.进一步地，所述预设阈值为预测案例数量的上下浮动20％。
35.进一步地，所述生成数量合理性提示包括：
36.当实际案例数量处于预测案例数量的预设阈值范围内时，判定实际案例数量处于合理范围内；
37.当实际案例数量小于预测案例数量的预设阈值下浮动端值时，判定实际案例数量不足，生成指示数量不足的数量合理性提示；
38.当实际案例数量大于预测案例数量的预设阈值上浮动端值时，判定实际案例数量冗余，生成指示数量过多的数量合理性提示。
39.本发明还涉及一种测试案例完整性的综合检验系统，其特征在于，包括：
40.字段合理性检验模块，用于根据预设的必要字段，对测试案例进行必要字段的逐一非空校验，并生成字段合理性提示；
41.数量合理性检验模块，用于比较预测案例数量与待检验的测试案例的实际案例数量，并生成数量合理性提示；
42.测试案例完整性评价模块，用于整合字段合理性提示与数量合理性提示并对测试案例完整性进行评价。
43.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
44.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
45.所述存储器，用于存储必要字段和测试项目指标；
46.所述处理器，用于通过调用必要字段和测试项目指标，执行上述的方法。
47.本发明的有益效果为：
48.采用本发明所述测试案例完整性的综合检验方法及系统，能够以机控自动化的形式全面的检验测试案例是否完整，特别是综合了案例中必要字段是否填写以及案例数量是否满足测试需要的检验，实现客观的、结果可控的完整性验证，解决了现有人工检验方法存在的人力成本消耗大、主观性强的问题。
附图说明
49.图1为本发明测试案例完整性的综合检验方法流程示意图。
50.图2为本发明测试案例完整性的综合检验系统结构示意图。
具体实施方式
51.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
52.如图1所示为本发明测试案例完整性的综合检验方法的一种优选实施例流程示意图，对于测试案例的检测包括s1、检验测试案例字段合理性和s2、检验测试案例数量合理性两个并列执行的步骤，并通过字段合理性与数理合理性两方面的检验结果综合评价测试案例的完整性。具体的，检验测试案例字段合理性包括：
53.s11、导入待检验的测试案例；
54.s12、根据预设的必要字段，对测试案例进行必要字段的逐一非空校验；必要字段优选的包括案例名称字段、案例描述字段、测试工具字段、案例类型字段和操作步骤字段，也可根据实际检测需要自行制定需要进行检验的必要字段；
55.s13、当测试案例中存在检验为空的必要字段时，将存在检验为空的必要字段的测试案例依照检验为空的必要字段种类进行分类，生成针对不同分类的字段合理性提示。
56.字段合理性提示可以用于向用户展示当前测试案例所存在的必要字段内容缺失问题，用户根据字段合理性提示可以进行针对性处理，例如可以直接跳转至字段合理性提示所指示的信息缺失位置并进行完善。
57.进一步地，在对测试案例进行必要字段的逐一非空校验过程中，可以设置为针对每一个检验到的信息缺失直接通知用户并跳转进行补充修订处理，同时不影响后续对其他必要字段检验，能够改进字段信息缺失的处理效率。即，对于各必要字段的检验过程是相互独立不干扰的，可以自由的选择执行次序或并行执行。
58.检验测试案例数量合理性的部分具体包括：
59.s21、导入待检验的测试案例所对应的测试项目指标；
60.s22、将测试项目指标输入预先训练得到的神经网络模型，计算得到针对待检验的测试案例的预测案例数量；
61.s23、比较预测案例数量与待检验的测试案例的实际案例数量，当实际案例数量相较预测案例数量超出预设阈值时，生成数量合理性提示；优选的，预设阈值为预测案例数量的上下浮动20％，当实际案例数量处于预测案例数量的预设阈值范围内时，判定实际案例数量处于合理范围内；当实际案例数量小于预测案例数量的预设阈值下浮动端值时，判定
实际案例数量不足，生成指示数量不足的数量合理性提示；当实际案例数量大于预测案例数量的预设阈值上浮动端值时，判定实际案例数量冗余，生成指示数量过多的数量合理性提示。
62.测试项目指标是一系列对测试案例数量有影响的参数指标，将这些参数指标作为深层神经网络模型的输入层神经元，利用历史数据对模型进行训练，就能得到深层神经网络模型的最优解，作为预先训练得到的神经网络模型。优选的，根据各个待测软件系统属性不同，可以针对每个软件系统分别建立一个模型，采集相关指标并进行量化，作为深层神经网络输入层神经元建立模型。具体的，使用的测试项目指标包括：
63.x_1：项目测试周期(以天为单位)；
64.x_2：项目测试工作量(以人/天为单位)；
65.x_3：项目新增功能模块数(以实际涉及新增的功能模块数量计算)；
66.x_4：项目变更功能模块数(以实际涉及变更的功能模块数量计算)；
67.x_5：项目关联功能模块的重要程度(1-5，最重要为5，最不重要为1)；
68.x_6：项目案例关联功能模块是否涉及动账(0为不涉及，1为涉及)；
69.x_7：项目案例关联功能模块的使用频率(1-5，最频繁为5，最不频繁为1)；
70.x_8：系统历史缺陷率(以百分比计算)。
71.上述指标x_1至x_8为神经网络模型的8个输入层神经元，并可设定模型输出y为模型预测的预测案例数量。
72.具体算法模型包括：神经网络模型的输入神经元，称为输入层，对应指标x_1-x_8；隐藏层，含有若干隐藏层以及每一个隐藏层的若干节点；神经网络的输出，称为输出层，对应y。节点与节点之间的连线构成了神经网络。
73.采集模型对应系统的历史项目数据作为训练集，确定隐藏层数量、隐藏层激活函数以及输出层激活函数，利用误差反向传播算法(bp算法)对神经网络模型进行迭代训练，训练收敛后可得到神经网络模型的权重，也就是节点与节点之间的连线对应的系数。模型训练完毕后，采集待测试项目对应的各项输入指标作为输入，可得到输出y，从而对测试执行方式作出推荐。
74.得到预测案例数量y之后，将其与测试人员实际编写的案例数量对比，如果实际数量在预测数量的上下浮动20％之内，则认为测试人员实际编写的案例数量在合理范围之内；如果实际数量比预测数量低20％或者更多，则提示测试人员案例编写数量较少，可能出现测试设计遗漏，引发项目质量风险；如果实际数量比预测数量高20％或者更多，则提示测试人员案例编写数量较多，可能出现案例设计冗余。
75.本发明还涉及一种测试案例完整性的综合检验系统，结构如图2所示，包括：
76.字段合理性检验模块，用于根据预设的必要字段，对测试案例进行必要字段的逐一非空校验，并生成字段合理性提示；
77.数量合理性检验模块，用于比较预测案例数量与待检验的测试案例的实际案例数量，并生成数量合理性提示；
78.测试案例完整性评价模块，用于整合字段合理性提示与数量合理性提示并对测试案例完整性进行评价。
79.通过使用该系统可以执行上述方法，从而实现对测试案例的综合、自动化完整性
检验。
80.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。