一种软件质量评估方法、装置和设备与流程

1.本发明涉及车辆测试技术领域，特别涉及一种软件质量评估方法、装置和设备。
2.背景技
3.当前软件测试行业内对于软件产品质量评估没有统一的指标、方法、准则。常见的软件评价指标如测试用例执行率、测试发现/解决数量比例等，以及常见的评价方法如产品利益相关人员评价分法、评价指标数据观察收敛法等，都是采用单一的评价指标进行评价，不能客观、全面的体现该软件的质量和风险。


技术实现要素：

4.本发明实施例提供一种软件质量评估方法、装置和设备，用以解决现有技术中，通过单一的评价指标度软件质量进行评估，导致的对软件质量的评估不客观、不全面的问题。
5.为了解决上述技术问题，本发明实施例提供如下技术方案：
6.本发明实施例提供一种软件质量评估方法，包括：
7.获取目标软件的软件测试过程中发现且在测试结束后未关闭的软件测试缺陷；
8.对所述软件测试缺陷进行风险评估，得到第一风险评估参数，以及对所述软件测试缺陷进行密度评估，得到缺陷密度参数；
9.根据所述第一风险评估参数和所述缺陷密度参数，对所述目标软件的软件质量进行评估。
10.可选地，所述对所述软件测试缺陷进行风险评估，得到第一风险评估参数，包括：
11.对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数；
12.根据每个所述第二风险评估参数，得到全部所述软件测试缺陷的第一风险评估参数。
13.可选地，所述对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数，包括：
14.根据每次针对每个所述软件测试缺陷进行风险评估得到的第三风险评估参数以及对每个所述软件测试缺陷的风险评估次数，得到每个所述软件测试缺陷的第二风险评估参数。
15.可选地，针对每个所述软件测试缺陷进行风险评估得到第三风险评估参数，包括：
16.对所述软件测试缺陷的缺陷严重程度进行评估，得到第一风险值；
17.对所述软件测试缺陷的缺陷发生频率进行评估，得到第二风险值；
18.对所述软件测试缺陷的缺陷可控程度进行评估，得到第三风险值；
19.根据所述第一风险、所述第二风险值和所述第三风险值，确定所述第三风险评估参数。
20.可选地，所述对所述软件测试缺陷进行密度评估，得到缺陷密度参数，包括：
21.根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷
进行密度评估，得到所述缺陷密度参数。
22.可选地，所述根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷进行密度评估，得到所述缺陷密度参数，包括：
23.在所述功能模块的数量小于或等于预设数量，且所述功能模块的复杂度小于或等于预设值的情况下，根据软件测试缺陷的数量和软件千代码行量数字，得到所述缺陷密度参数；
24.在所述功能模块的数量大于预设数量，且所述功能模块的复杂度大于预设值的情况下，根据软件测试缺陷的数量和被测功能的数量，得到所述缺陷密度参数。
25.可选地，所述根据所述第一风险评估参数和所述缺陷密度参数，对软件质量进行评估，包括：
26.根据车辆所处的不同开发阶段，分别确定所述第一风险评估参数所属的第一等级区间，以及所述缺陷密度参数所属于的第二等级区间；
27.根据所述第一等级区间和所述第二等级区间，确定所述软件质量的评估等级。
28.本发明实施例还提供一种软件质量评估装置，包括：
29.获取模块，用于获取目标软件的软件测试过程中发现且在测试结束后未关闭的软件测试缺陷；
30.第一评估模块，用于对所述软件测试缺陷进行风险评估，得到第一风险评估参数，以及对所述软件测试缺陷进行密度评估，得到缺陷密度参数；
31.第二评估模块，用于根据所述第一风险评估参数和所述缺陷密度参数，对所述目标软件的软件质量进行评估。
32.可选地，所述第一评估模块包括：
33.第一评估单元，用于对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数；
34.第一确定单元，用于根据每个所述第二风险评估参数，得到全部所述软件测试缺陷的第一风险评估参数。
35.可选地，所述第一评估单元具体用于：
36.根据每次针对每个所述软件测试缺陷进行风险评估得到的第三风险评估参数以及对每个所述软件测试缺陷的风险评估次数，得到每个所述软件测试缺陷的第二风险评估参数。
37.可选地，所述第一评估单元具体用于：
38.对所述软件测试缺陷的缺陷严重程度进行评估，得到第一风险值；
39.对所述软件测试缺陷的缺陷发生频率进行评估，得到第二风险值；
40.对所述软件测试缺陷的缺陷可控程度进行评估，得到第三风险值；
41.根据所述第一风险、所述第二风险值和所述第三风险值，确定所述第三风险评估参数。
42.可选地，所述第一评估模块包括：
43.第二评估单元，用于根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷进行密度评估，得到所述缺陷密度参数。
44.可选地，所述第二评估单元具体用于：
45.在所述功能模块的数量小于或等于预设数量，且所述功能模块的复杂度小于或等于预设值的情况下，根据软件测试缺陷的数量和软件千代码行量数字，得到所述缺陷密度参数；
46.在所述功能模块的数量大于预设数量，且所述功能模块的复杂度大于预设值的情况下，根据软件测试缺陷的数量和被测功能的数量，得到所述缺陷密度参数。
47.可选地，所述第二评估模块包括：
48.第二确定单元，用于根据车辆所处的不同开发阶段，分别确定所述第一风险评估参数所属的第一等级区间，以及所述缺陷密度参数所属于的第二等级区间；
49.第三确定单元，用于根据所述第一等级区间和所述第二等级区间，确定所述软件质量的评估等级。
50.本发明实施例还提供一种软件质量评估设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上任一项所述的软件质量评估方法。
51.本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的软件质量评估方法。
52.本发明的有益效果是：
53.本发明方案，通过对测试缺陷进行风险和缺陷密度两个维度的评估，根据两个维度的评估结果，对软件质量进行评估，使软件质量的评估过程更加客观、全面。
附图说明
54.图1表示本发明实施例提供的软件质量评估方法的流程图；
55.图2表示本发明实施例提供的软件质量评估装置的结构示意图。
具体实施方式
56.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
57.本发明针对现有技术中，通过单一的评价指标度软件质量进行评估，导致的对软件质量的评估不客观、不全面的问题，提供一种软件质量评估方法、装置和设备。
58.如图1所示，本发明实施例提供一种软件质量评估方法，包括：
59.步骤101：获取目标软件的软件测试过程中发现且在测试结束后未关闭的软件测试缺陷。
60.在本发明实施例中，使用软件测试过程中发现，但是在测试结束后未关闭的软件测试缺陷(软件测试缺陷)对控制器硬件在环仿真测试的软件，也就是目标软件的质量进行评估。
61.步骤102：对所述软件测试缺陷进行风险评估，得到第一风险评估参数，以及对所述软件测试缺陷进行密度评估，得到缺陷密度参数。
62.在本发明实施例中，在获取软件测试缺陷后，对软件测试缺陷的风险评估得到第一风险评估参数，以及对软件测试缺陷进行缺陷密度评估，得到缺陷密度参数，以便于后续根据这两个参数对目标软件的质量进行评估。
63.需要说明的是，对软件测试缺陷进行风险评估和对软件测试缺陷进行密度评估的过程可以不分顺序先后进行，也可以同时进行，在本发明实施例中不作限定。
64.步骤103：根据所述第一风险评估参数和所述缺陷密度参数，对所述目标软件的软件质量进行评估。
65.在本发明实施例中，使用测试中发现但在测试结束后未关闭的软件测试缺陷的第一风险评估参数和缺陷密度参数双重判定的方法，对目标软件的质量进行评估。
66.本发明实施例，通过对测试缺陷进行风险和缺陷密度共两个维度的评估，根据两个维度的评估结果，对软件质量进行评估，使软件质量的评估过程更加客观、全面。
67.可选地，所述对所述软件测试缺陷进行风险评估，得到第一风险评估参数，包括：
68.对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数；
69.根据每个所述第二风险评估参数，得到全部所述软件测试缺陷的第一风险评估参数。
70.需要说明的是，在对软件测试缺陷进行风险评估，得到第一风险评估参数的过程中，若全部的软件测试缺陷一共有n个，对每一个软件测试缺陷的风险评估，得到的是第二风险评估参数，根据n个第二风险评估参数，得到全部的软件测试缺陷的第一风险评估参数，优选地，第一风险评估参数是n个第二风险评估参数之和。
71.可选地，所述对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数，包括：
72.根据每次针对每个所述软件测试缺陷进行风险评估得到的第三风险评估参数以及对每个所述软件测试缺陷的风险评估次数，得到每个所述软件测试缺陷的第二风险评估参数。
73.需要说明的是，在对每个软件测试缺陷进行风险评估，得到每个软件测试缺陷的第二风险评估参数的过程中，对每一个软件测试缺陷都进行m次测试，也就是将每一个软件测试缺陷都提交给m个利益相关人员进行评分。一个利益相关人员对一个软件测试缺陷进行风险评估，得到一个第三风险评估参数，根据每个利益相关人员的对一个软件测试缺陷进行风险评估得到的第三风险评估参数，得到全部利益相关人员对一个软件测试缺陷的第二风险评估参数。优选地，全部利益相关人员对一个软件测试缺陷的第二风险评估参数是每个利益相关人员对一个软件测试缺陷进行风险评估得到的第三风险评估参数的平均值。
74.可选地，针对每个所述软件测试缺陷进行风险评估得到第三风险评估参数，包括：
75.对所述软件测试缺陷的缺陷严重程度进行评估，得到第一风险值；
76.对所述软件测试缺陷的缺陷发生频率进行评估，得到第二风险值；
77.对所述软件测试缺陷的缺陷可控程度进行评估，得到第三风险值；
78.根据所述第一风险、所述第二风险值和所述第三风险值，确定所述第三风险评估参数。
79.需要说明的是，对每个所述软件测试缺陷进行风险评估的过程中使用三个维度，也就是使用三个评价指标同行评审评分的方法确定每个软件测试缺陷的第三风险评估参数，三个评价指标分别为缺陷严重程度、缺陷发生频率和缺陷可控程度。根据分别从三个评价指标对每个所述软件测试缺陷进行风险评估，得到的第一风险值、第二风险值和第三风
险值，得到第三风险评估参数。
80.下面具体说明，对软件测试缺陷进行风险评估的过程：
81.对于软件测试缺陷从缺陷严重程度、缺陷发生频率与缺陷可控程度三个维度同行评审评分每个软件测试缺陷，确定每个软件测试缺陷的风险等级值，也就是第三风险评估参数。
82.其中，缺陷严重程度(s)是指缺陷发生后对于产品所造成的影响，例如对于整车控制器类软件产品，可将缺陷严重程度分为以下三级，第一风险值可根据缺陷市场暴露维修的成本估算比例拟定，具体的，缺陷严重程度的等级与第一风险值的对应关系如下表1所示。
83.表1缺陷严重程度的等级与第一风险值的对应关系表
[0084][0085]
缺陷发生频率(f)是指用户在使用产品的过程中该缺陷发生的概率，该缺陷发生频率参数需同时考虑产品于用户的使用频率，同样以整车控制器产品为例，可将缺陷发生频率分为以下三级，具体的，缺陷发生频率的等级与第二风险值的对应关系如下表2所示。
[0086]
表2缺陷发生频率的等级与第二风险值的对应关系表
[0087][0088]
缺陷可控程度(c)是指发生该缺陷后，是否有防护或备选控制策略供用户完成相关操作，同样以整车控制器产品为例，可将缺陷可控程度分为以下三级，具体的，缺陷可控程度的等级与第三风险值的对应关系如下表3所示。
[0089]
表3缺陷可控程度的等级与第二风险值的对应关系表
[0090][0091]
对于全部的n个软件测试缺陷(d1、d2、d3.....dx.......dn)提交给m个利益相关
人员(n1、n2、n3.......nx......nm)进行评分。
[0092]
其中，每一个利益相关人员对一个软件测试缺陷从缺陷严重程度、缺陷发生频率和缺陷可控程度分别进行评分，得到的第一风险值sx、第二风险值fx和第一风险值cx，该利益相关人员对一个软件测试缺陷进行风险等级评分，得到第三风险评估参数tx＝sx*fx*cx。
[0093]
那么全部的利益相关人员对一个软件测试缺陷进行风险评估得到的最终评分，也就是第二风险评估参数tdx＝(t1 t2 t3......tm)/m。
[0094]
全部的软件测试缺陷进行风险评估的最终评分，也就是第一风险评估参数td＝td1 td2...... tdn。
[0095]
可选地，所述对所述软件测试缺陷进行密度评估，得到缺陷密度参数，包括：
[0096]
根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷进行密度评估，得到所述缺陷密度参数。
[0097]
需要说明的是，缺陷密度是软件质量常用的评估指标，可以根据软件的平台化程度、功能模块的细分架构确定。
[0098]
在本发明实施例中，通过软件的功能模块的数量和功能模块的复杂度，对软件测试缺陷进行缺陷密度评估。
[0099]
可选地，所述根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷进行密度评估，得到所述缺陷密度参数，包括：
[0100]
在所述功能模块的数量小于或等于预设数量，且所述功能模块的复杂度小于或等于预设值的情况下，根据软件测试缺陷的数量和软件千代码行量数字，得到所述缺陷密度参数；
[0101]
在所述功能模块的数量大于预设数量，且所述功能模块的复杂度大于预设值的情况下，根据软件测试缺陷的数量和被测功能的数量，得到所述缺陷密度参数。
[0102]
需要说明的是，在通过软件的功能模块的数量和功能模块的复杂度，对软件测试缺陷进行缺陷密度时，如功能划分规模(功能模块的数量)、功能模块的复杂度适当，可采用缺陷密度参数tm＝软件缺陷数量n/被测软件千代码行量数cn来进行计算；
[0103]
如果功能模块的数量、功能模块的复杂程度差别较大，可要求对需求文档提出划分要求，采用缺陷密度参数tm＝软件缺陷数量n/被测功能的数量fn来进行计算。
[0104]
可选地，所述根据所述第一风险评估参数和所述缺陷密度参数，对软件质量进行评估，包括：
[0105]
根据车辆所处的不同开发阶段，分别确定所述第一风险评估参数所属的第一等级区间，以及所述缺陷密度参数所属于的第二等级区间；
[0106]
根据所述第一等级区间和所述第二等级区间，确定所述软件质量的评估等级。
[0107]
本发明实施例首先提出软件产品质量是与其开发状态、应用渠道相关的一个相对性的概念，在明确这一前提的基础之上，摒除测试人力专业程度和测试团队体系成熟度这部分相对复杂的场外因素，仅以软件测试缺陷的风险及缺陷密度两个维度，结合软件产品开发阶段与用途提供一种更具备普遍应用价值的软件质量评估计算方法。
[0108]
以整车控制器产品为例，根据软件产品所处的不同开发阶段，结合车辆试制、试验及市场统计的数据，对于缺陷风险等级区间的划定如下表4所示。缺陷风险等级区间包括第
一风险评估参数所属的第一等级区间，以及缺陷密度参数所属于的第二等级区间。
[0109]
表4产品开发阶段与缺陷风险等级区间的对应关系表
[0110][0111]
目标软件根据第一风险评估参数所属的第一等级区间，以及缺陷密度参数所属于的第二等级区间，根据所处的不同开发阶段，对比得出软件质量在缺陷风险与缺陷密度两个维度的高、中、低风险等级，即第一等级区间和第二等级区间，并通过查表最终得出该软件产品综合风险评估等级，也就是软件质量的评估等级。
[0112]
表5第一等级区间和第二等级区间分别与软件质量的评估等级的对应关系表
[0113]
[0114][0115]
需要说明的是，常见软件质量评估方法未考虑软件产品质量在其开发生命周期中不断提升的客观规律，仅以单一的评价指标对软件质量进行评估缺乏严谨和客观性，本发明实施例将软件产品质量与其开发不同阶段节点及其用途相结合，对于软件质量的评估信息更具备参考和应用价值；常见的软件质量评估指标种类繁多，但实际具备评估价值和可操作性的最小维度可仅考虑未关闭缺陷风险与缺陷密度。本发明实施例基于这两个评价指标的计算评估方法可指导测试人员快速判断出软件产品是否可进行发布的结论；对于具备一定市场容量的控制器产品，基于开发周期、市场反馈、用户要求的软件质量是一个不断变化的要素，本发明实施例也因充分考虑到了这个因素而具备更长远的适用价值。方法中提到的产品质量数据积累是一个正向迭代的过程，有助于产品质量更加精确的评估和定位，同时也是对本方法的补充和完善。
[0116]
还需要说明的是，对于软件产品质量的评估，如果测试团队已积累了大量的产品数据，可考虑缺陷风险直接通过缺陷的属性确定分值或区间值，无需使用同行评审评分的方法。
[0117]
本发明实施例，首先直接明确了产品质量是基于应用途径或使用方需求的一个相对概念，因而它在明确目标的基础上节约了软件开发与测试的成本，保证产品开发的过程科学合理；提出的软件质量评估指标数据易于收集，评估方法兼容了产品利益相关人权责与软件本身的客观信息，评估结论易于接受且方便、快捷、具备可操作性，可大量节省测试人员收集、整理、分析、计算测试数据所消耗的时间，同时提升了产品利益相关人对于评估数据的信任，在客观合理的基础上相对其他评估方法如问卷评分、同行评审、指标多维分析计算等，为产品在开发末端节点节约了大量的时间与成本，为产品快速保质的抢占市场提供了先机；将产品质量放置于完整的软件开发生命流程中，对于具备一定市场占有率的产品，提供一种可持续拓展的产品质量评估思路。评估方法不限于控制器测试领域，相关配套评估工具的开发和应用具备良好的经济效益。
[0118]
如图2所示，本发明实施例还提供一种软件质量评估装置，包括：
[0119]
获取模块201，用于获取目标软件的软件测试过程中发现且在测试结束后未关闭的软件测试缺陷；
[0120]
第一评估模块202，用于对所述软件测试缺陷进行风险评估，得到第一风险评估参数，以及对所述软件测试缺陷进行密度评估，得到缺陷密度参数；
[0121]
第二评估模块203，用于根据所述第一风险评估参数和所述缺陷密度参数，对所述目标软件的软件质量进行评估。
[0122]
本发明实施例，通过对测试缺陷进行风险和缺陷密度两个维度的评估，根据两个维度的评估结果，对软件质量进行评估，使软件质量的评估过程更加客观、全面。
[0123]
可选地，所述第一评估模块202包括：
[0124]
第一评估单元，用于对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数；
[0125]
第一确定单元，用于根据每个所述第二风险评估参数，得到全部所述软件测试缺陷的第一风险评估参数。
[0126]
可选地，所述第一评估单元具体用于：
[0127]
根据每次针对每个所述软件测试缺陷进行风险评估得到的第三风险评估参数以及对每个所述软件测试缺陷的风险评估次数，得到每个所述软件测试缺陷的第二风险评估参数。
[0128]
可选地，所述第一评估单元具体用于：
[0129]
对所述软件测试缺陷的缺陷严重程度进行评估，得到第一风险值；
[0130]
对所述软件测试缺陷的缺陷发生频率进行评估，得到第二风险值；
[0131]
对所述软件测试缺陷的缺陷可控程度进行评估，得到第三风险值；
[0132]
根据所述第一风险、所述第二风险值和所述第三风险值，确定所述第三风险评估参数。
[0133]
可选地，所述第一评估模块202包括：
[0134]
第二评估单元，用于根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷进行密度评估，得到所述缺陷密度参数。
[0135]
可选地，所述第二评估单元具体用于：
[0136]
在所述功能模块的数量小于或等于预设数量，且所述功能模块的复杂度小于或等于预设值的情况下，根据软件测试缺陷的数量和软件千代码行量数字，得到所述缺陷密度参数；
[0137]
在所述功能模块的数量大于预设数量，且所述功能模块的复杂度大于预设值的情况下，根据软件测试缺陷的数量和被测功能的数量，得到所述缺陷密度参数。
[0138]
可选地，所述第二评估模块203包括：
[0139]
第二确定单元，用于根据车辆所处的不同开发阶段，分别确定所述第一风险评估参数所属的第一等级区间，以及所述缺陷密度参数所属于的第二等级区间；
[0140]
第三确定单元，用于根据所述第一等级区间和所述第二等级区间，确定所述软件质量的评估等级。
[0141]
需要说明的是，本发明实施例提供的软件质量评估装置，是能够执行上述的软件质量评估方法的装置，则上述的软件质量评估方法的所有实施例均适用于该装置，且能够达到相同或者相似的技术效果。
[0142]
本发明实施例还提供一种软件质量评估设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上任一项所述的软件质量评估方法。
[0143]
所述收发机，用于获取目标软件的软件测试过程中发现且在测试结束后未关闭的软件测试缺陷；
[0144]
所述处理器，用于对所述软件测试缺陷进行风险评估，得到第一风险评估参数，以及对所述软件测试缺陷进行密度评估，得到缺陷密度参数；以及，根据所述第一风险评估参
数和所述缺陷密度参数，对所述目标软件的软件质量进行评估。
[0145]
可选地，所述处理器，具体用于对每个所述软件测试缺陷进行风险评估，得到每个所述软件测试缺陷的第二风险评估参数；以及，根据每个所述第二风险评估参数，得到全部所述软件测试缺陷的第一风险评估参数。
[0146]
可选地，所述处理器，具体用于根据每次针对每个所述软件测试缺陷进行风险评估得到的第三风险评估参数以及对每个所述软件测试缺陷的风险评估次数，得到每个所述软件测试缺陷的第二风险评估参数。
[0147]
可选地，所述处理器，具体用于对所述软件测试缺陷的缺陷严重程度进行评估，得到第一风险值；以及，对所述软件测试缺陷的缺陷发生频率进行评估，得到第二风险值；以及，对所述软件测试缺陷的缺陷可控程度进行评估，得到第三风险值；以及，根据所述第一风险、所述第二风险值和所述第三风险值，确定所述第三风险评估参数。
[0148]
可选地，所述处理器，具体用于根据所述目标软件的功能模块的数量和功能模块的复杂度，对所述软件测试缺陷进行密度评估，得到所述缺陷密度参数。
[0149]
可选地，所述处理器，具体用于在所述功能模块的数量小于或等于预设数量，且所述功能模块的复杂度小于或等于预设值的情况下，根据软件测试缺陷的数量和软件千代码行量数字，得到所述缺陷密度参数；以及，在所述功能模块的数量大于预设数量，且所述功能模块的复杂度大于预设值的情况下，根据软件测试缺陷的数量和被测功能的数量，得到所述缺陷密度参数。
[0150]
可选地，所述处理器，具体用于根据车辆所处的不同开发阶段，分别确定所述第一风险评估参数所属的第一等级区间，以及所述缺陷密度参数所属于的第二等级区间；以及，根据所述第一等级区间和所述第二等级区间，确定所述软件质量的评估等级。
[0151]
本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的软件质量评估方法。
[0152]
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。