变异测试方法、装置、存储介质与芯片与流程

1.本公开涉及测试技术领域，尤其涉及一种变异测试方法、装置、存储介质与芯片。


背景技术：

2.v2x(vehicle to everything，车联万物)是近年来迅速发展的技术，可以实现车辆与其它设备之间的通信，例如车辆与车辆之间的通信，车辆与路测单元通信，车辆与行人设备通信，车辆与网络之间通信等。随着v2x技术的发展，产生v2x设备。
3.相关技术中，v2x设备在运行过程中会存在一些问题，导致数据丢失或损坏，v2x设备在使用损坏或存在丢失的数据来计算场景的情况下，则会导致计算的场景出现错误，从而降低了用户使用v2x设备的体验。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种变异测试方法、装置、存储介质与芯片。
5.根据本公开实施例的第一方面，提供一种变异测试方法，所述方法运用至测试设备，包括：
6.对协议消息集中至少一个字段的值进行变异，得到测试用例；
7.将所述测试用例转发至被测设备，所述测试用例用于对所述被测设备进行测试；
8.在接收到所述被测设备反馈的响应消息的情况下，根据所述响应消息确定所述被测设备是否异常，所述响应消息是所述被测设备采用所述测试用例进行测试后产生的消息。
9.根据本公开实施例的第二方面，提供一种变异测试方法，所述方法运用至被测设备，包括：
10.接收测试设备发送的测试用例，所述测试用例为所述测试设备对协议消息集中至少一个字段的值进行变异得到的；
11.将根据所述测试用例测试后产生的响应消息发送至所述测试设备，所述响应消息用于所述测试设备依据所述响应消息确定所述被测设备是否异常。
12.根据本公开实施例的第三方面，提供一种变异测试装置，包括：
13.变异模块，被配置为对协议消息集中至少一个字段的值进行变异，得到测试用例；
14.第一收发模块，被配置为将所述测试用例转发至被测设备，所述测试用例用于对所述被测设备进行测试；
15.用例管理模块，被配置为在接收到所述被测设备反馈的响应消息的情况下，根据所述响应消息确定所述被测设备是否异常，所述响应消息是所述被测设备采用所述测试用例进行测试后产生的消息。
16.根据本公开实施例的第四方面，提供一种变异测试装置，包括：
17.第二收发模块，被配置为接收测试设备发送的测试用例，所述测试用例为所述测
试设备对协议消息集中至少一个字段的值进行变异得到的；
18.异常分析模块，被配置为将根据所述测试用例测试后产生的响应消息发送至所述测试设备，所述响应消息用于所述测试设备依据所述响应消息确定所述被测设备是否异常。
19.根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开实施例的第一方面所提供的变异测试方法的步骤，或实现本公开实施例的第二方面所提供的变异测试方法的步骤。
20.根据本公开实施例的第六方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开实施例的第一方面所提供的变异测试方法的步骤，或执行本公开实施例的第二方面所提供的变异测试方法的步骤。
21.本公开的实施例提供的技术方案可以包括以下有益效果：
22.被测设备的数据丢失或损坏会导致数据成为无效数据/错误数据，测试设备可以将至少一个字段变异后的测试用例发送至被测设备，由于测试用例中协议消息集的至少一个字段变异后，测试用例中具有了变异的无效数据/错误数据，所以将产生了变异字段的测试用例发送至被测设备之后，测试设备可以依据测试设备返回的响应消息，确定被测设备在面临无效数据/错误数据的情况下，是否能够正常运行，以便于工作人员排查出异常运行的被测设备，确保被测设备在面临数据丢失或异常的情况下，不会受到这些异常信息的干扰，避免场景计算错误的情况发生，提升用户使用被测设备的体验感。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
25.图1是根据一示例性实施例示出的一种变异测试方法的流程图。
26.图2是根据一示例性实施例示出的一种测试设备的框图。
27.图3是根据一示例性实施例示出的一种被测设备的框图。
28.图4是根据一示例性实施例示出的一种测试设备的框图。
29.图5是根据一示例性实施例示出的一种被测设备的框图。
30.图6是根据一示例性实施例示出的一种生成测试用例的逻辑示意图。
31.图7是根据一示例性实施例示出的一种变异测试装置的框图。
32.图8是根据一示例性实施例示出的一种变异测试装置的框图。
33.图9是根据一示例性实施例示出的一种变异测试装置的框图。
34.图10是根据一示例性实施例示出的一种变异测试装置的框图。
具体实施方式
35.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
36.需要说明的是，本技术中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
37.图1是根据一示例性实施例示出的一种变异测试方法的流程图，如图1所示，该变异测试方法运用至测试设备中，包括以下步骤。
38.在步骤s11中，对协议消息集中至少一个字段的值进行变异，得到测试用例。
39.其中，协议消息集包括至少一个v2x标准协议下的协议消息，协议消息可以是bsm(basic safety message，车辆基本安全消息)协议消息、map(map data，地图消息)协议消息、spat(信号灯消息)协议消息、rsm(roadside safety message，路侧安全消息)协议消息、rsi(roadside information，交通事件信息以及交通标志信息)协议消息、spdu(secured protocol data unit，安全协议数据单元)协议消息等协议消息。
40.其中，v2x标准协议中具有接入层、网络层、消息层与安全层，bsm协议消息、map协议消息、spat协议消息、rsm协议消息、rsi协议消息是消息层下的多个协议消息；spdu是安全层下的协议消息。
41.对于协议消息集而言，协议消息集内包括上述多种不同的协议消息；对于每个协议消息而言，协议消息内包括多种不同类型的消息，例如bsm协议消息中包含车辆属性信息、车辆运动状态信息、车辆历史轨迹信息和路径预测信息等不同类型的消息，又如spat协议消息中包含信号灯属性信息、路口属性信息、相位信息与事件信息等不同类型的消息；每个消息内包括多个字段，每个字段具有各自的取值，例如车辆属性信息中具有车辆临时id、消息标号、时间、时间精度、车辆位置等字段，又如车辆运动状态信息中具有车速、航向角、四轴加速度等字段。因此协议消息集中包含有多个字段，可以对多个字段中至少一个字段的取值进行随机变异，来得到测试用例。
42.其中，测试用例可以理解为变异模糊测试用例，是随机生成的不确定的测试用例，用于对被测设备进行测试，被测设备是具备v2x通信能力的v2x设备，例如obu(on-board unit，车载单元)设备、rsu(road side unit，路测单元)设备等设备。obu设备是安装在车辆上的可实现v2x通信，支持v2x应用的硬件设备；rsu设备是安装在路边的可实现v2x通信，支持v2x应用的硬件设备。
43.在步骤s12中，将所述测试用例转发至被测设备，所述测试用例用于对所述被测设备进行测试。
44.相关技术中，是采用测试工具对被测设备的产品功能进行测试，测试工具无法对被测设备本身进行测试，使得被测设备在运行过程中存在的一些问题所导致的数据丢失或损坏，场景计算错误，被测设备宕机等情况无法被测试工具测试出来。
45.示例地，被测设备在运行过程中存在一些问题导致数据损坏，在被测设备无法识别损坏数据或丢失数据的情况下，被测设备会采用损坏的数据来计算驾驶场景，导致所计算出的驾驶场景可能会误导驾驶员误刹车、误踩油门，降低驾驶员驾驶安全，甚至威胁到驾驶员的驾驶安全。
46.为了对被测设备本身进行测试，可以将大量的测试用例发送至被测设备，由于每个测试用例中均存在变异的无效数据或错误数据，所以可以采用大量的测试用例测试被测
设备在面临大量的无效数据或错误数据的情况下，是否能正常运行，若被测设备无法正常运行，则表明被测设备在面临大量无效数据或错误数据的情况下，会受到这些异常信息的干扰，导致场景计算错误，甚至出现宕机的情况；若被测设备能够正常运行，则表明被测设备在面临大量无效数据或错误数据的情况下，不会受到这些异常信息的干扰，不会出现场景计算错误的情况，也不会出现宕机的情况。
47.其中，被测设备无法正常运行可以表现为：被测设备正常工作，但是无效数据或错误数据影响了被测设备后续的相关计算；被测设备无法正常工作，产生了计算流程异常的错误；被测设备出现了崩溃、死机等现象。
48.在步骤s13中，在接收到所述被测设备反馈的响应消息的情况下，根据所述响应消息确定所述被测设备是否异常，所述响应消息是所述被测设备采用所述测试用例进行测试后产生的消息。
49.其中，在测试设备接收到被测设备反馈的响应消息的情况下，根据响应消息中携带的数据是否与目标数据一致，若不一致则确定被测设备异常；若一致，则确定被测设备正常。响应消息中携带的数据包括字段、字段所在的层级、所述字段的错误类型中的至少一种。
50.示例地，请参阅图4与图5所示，测试设备中具有测试用例产生模块、用例管理模块与第一收发模块，被测设备中具有第二收发模块与异常分析模块。测试用例产生模块产生测试用例，通过第一收发模块将测试用例发送至第二收发模块，被测设备中的异常分析模块判断测试用例中的字段是否在自身预设的各个字段的目标范围之内，若不在，则发送响应消息给第一收发模块，第一收发模块将响应消息返回给用例管理模块；用例管理模块依据响应消息确定被测设备的异常分析模块所进行的异常分析是否正确。
51.其中，在响应消息中的层级与目标层级不同，错误类型与目标错误类型不同，字段与目标字段不同中的至少一者满足的情况下，确定被测设备异常；在响应消息中的错误与目标错误类型相同，且层级与目标层级相同的情况下，确定被测设备正常；在字段与目标字段相同的情况下，确定被测设备正常。
52.其中，被测设备在接收到测试用例之后，会将测试用例中的数据与自身存储的该数据的目标范围进行比较，若该数据位于目标范围之内，则说明该数据是正常的，若该数据位于目标范围之外，则说明该数据是异常的。对于正常的被测设备而言，可以确定出测试用例中的变异数据，不受这些变异数据的影响；对于异常的被测设备而言，则可能无法确定出测试用例中的变异数据，会受到这些变异数据的影响。因此，将大量变异后的测试用例发送至被测设备，可以判断被测设备是否能够正常运行。
53.协议消息集中的协议消息可以位于不同的层级中，例如消息层或安全层中，多个不同的协议消息所在的层级相同或不同，例如rsm协议消息与map消息位于同一消息层中，rsm协议消息与spdu协议消息分别位于消息层与安全层两个不同的层级中；协议消息集的多种协议消息中不同消息的字段错误时，会产生不同的错误类型。
54.层级的取值范围注解错误类型的取值范围“msg”消息层错误[1，22]“sec”安全层错误[1，6]
[0055]
表格1
[0056]
参阅表格1所示，响应消息中定义了层级的取值范围与错误类型的取值范围。其中，当层级的取值范围为“msg”时，代表是消息层中的数据出现错误；当层级的取值范围为“sec”时，代表是安全层中的数据出现错误。
[0057]
其中，消息层下的协议消息包括：bsm协议消息、map协议消息、spat协议消息、rsm协议消息、rsi协议消息等协议消息，这些协议消息中的消息对应的错误类型是在错误类型的取值范围[1，22]中进行取值。bsm协议消息包括：车辆属性信息、车辆运动状态信息、车辆历史轨迹信息和路径预测信息、车辆系统信息、车辆尺寸信息、车辆警示信息等消息，这些消息对应的错误类型分别为1、2、3、4、5、6。map协议消息包括：地图属性信息、node属性信息(节点属性信息)、link属性信息(节点间联系信息)、lane属性信息(车道信息)等消息，这些消息对应的错误类型分别为7、8、9、10。spat协议消息包括：信号灯属性信息、路口属性信息、相位信息、时间信息等消息，这些消息对应的错误类型分别为11、12、13、14。rsm协议消息包括：路测安全信息属性、交通参与者的基本属性信息、交通参与者运动状态信息、车辆系统信息、车辆尺寸信息，这些消息对应的错误类型分别为15、16、17、18、19。rsi协议消息包括：路测交通信息属性、交通事件信息、交通标识信息，这些消息对应的错误类型分别为20、21、22。
[0058]
其中，安全层下的协议消息包括spdu协议消息，spdu协议消息中的消息对应的错误类型是在错误类型的取值范围[1，6]中进行取值。spdu协议消息包括：安全协议版本、密码杂凑算法、数据载荷、安全消息头、签名者、签名值，这些消息对应的错误类型分别为1、2、3、4、5、6。
[0059]
测试设备产生测试用例之后，存储了测试用例中字段、字段所在消息对应的错误类型，字段所在的层级等，当测试设备将测试用例发送至被测设备之后，若被测设备识别出测试用例中的变异字段是异常数据，则会发送响应消息给被测设备，该响应消息中携带有该字段、该字段所在的协议消息对应的错误类型、该字段所在的层级中的至少一者。测试设备将字段与目标字段比较，将错误类型与目标错误类型比较，将字段所在的层级与目标层级比较，在至少一者不同的情况下，确定被测设备所识别出的异常数据并非是测试用例中的变异字段；在错误类型与目标错误类型相同，层级与目标层级相同的情况下，确定被测设备正常；在字段与目标字段相同的情况下，确定被测设备正常。由于不同层级的错误类型的取值可能相同，所以需要将层级与错误类型相结合，来判断被测设备是否异常；由于字段是最终所要定位的数据，所以直接依据字段，可以判断被测设备是否异常。
[0060]
其中，目标字段是变异字段，目标错误类型与目标层级是测试设备中存储的变异字段的错误类型与变异字段所在的层级。
[0061][0062]
表格2
[0063]
示例地，请参阅表格2所示出的bsm协议消息中车辆属性信息的各个字段(车辆属性信息中的各个字段包括车辆临时id、消息标号、时间、时间精度、纬度、精度、高程、定位系统精度、车辆综合精度9个字段)，车辆属性信息对应的错误类型是1，在测试用例的车辆属性信息中的“时间”这一字段变异的情况下，测试设备中存储了“时间”字段、“时间字段”所在的车辆属性信息对应的错误类型1以及车辆属性信息所在的消息层这一层级。将测试用例发送至被测设备之后，若被测设备返回的响应消息中携带的字段是“高程”，与目标字段“时间”不同，则确定被测设备异常；若被测设备返回的响应消息中的错误类型是2，与目标错误类型1不同，则确定被测设备异常；若被测设备返回的层级是安全层，与目标层级消息层不同，则确定被测设备异常。
[0064]
通过上述技术方案，第一方面被测设备的数据丢失或损坏会导致数据成为无效数据/错误数据，测试设备可以将至少一个字段变异后的测试用例发送至被测设备，由于测试用例中协议消息集的至少一个字段变异后，测试用例中具有了变异的无效数据/错误数据，所以将产生了变异字段的测试用例发送至被测设备之后，测试设备可以依据测试设备返回的响应消息，确定被测设备在面临无效数据/错误数据的情况下，是否能够正常运行，以便于工作人员排查出异常运行的被测设备，确保被测设备在面临数据丢失或异常的情况下，不会受到这些异常信息的干扰，避免场景计算错误的情况发生，提升用户使用被测设备的体验感；第二方面，被测设备反馈的响应消息中存在字段、错误类型与层级，将字段与目标字段比较，错误类型与目标错误类型比较，层级与目标层级比较，可以测试被测设备的分析是否异常，即，能够测试被测设备是否能够反馈正确的响应消息，进一步提高测试被测设备的准确性。
[0065]
在一种可能的实施方式中，除了采用上述方式来确定被测设备异常的情况下，还可以在测试设备未接收到被测设备反馈的响应消息的情况下，确定被测设备异常。
[0066]
示例地，请参阅图2与图3所示，测试设备中具有测试用例产生模块、第一收发模块与心跳检测模块，被测设备中具有第二收发模块。测试用例产生模块通过第一收发模块将测试用例发送给被测设备的第二收发模块，第二收发模块以固定周期发送响应消息给心跳检测模块，在心跳检测模块在固定周期内接收到响应消息的情况下，确定被测设备正常；在心跳检测模块超过固定周期也未接收到响应消息的情况下，确定被测设备异常。
[0067]
响应消息包括bsm协议消息、map协议消息与spat协议消息等协议消息。在被测设备为obu设备的情况下，若心跳检测模块超过固定周期未接收到bsm协议消息，则代表obu设备不在v2x局域网中，此时obu设备异常；在被测设备为rsu设备的情况下，若心跳检测模块超过固定周期未接收到map协议消息与spat协议消息等服务类型的协议消息的情况下，代表远程服务停止，被测的rsu设备异常。
[0068]
通过上述技术方案，在未接收到被测设备反馈的响应消息，则确定被测设备异常的情况下，可以不必再对响应消息中的内容进行具体分析比较，减少了测试设备的计算量。
[0069]
在一种可能的实施方式中，可以通过以下步骤来对协议消息集中的至少一个字段的值进行变异，得到测试用例，具体请参阅图6所示。
[0070]
在步骤s21中，从协议消息集中，随机选择目标协议消息。
[0071]
其中，在从协议消息集中随机选择目标协议消息之前，可以从关联型数据类型与非关联型数据类型中，随机选择目标数据类型，记为t1。关联型数据指的是与其余数据之间具有关联的数据，关联型数据包括协议内关联数据与协议间关联数据，协议内关联数据指的是同一种协议消息内相互关联的至少两种消息，例如bsm协议消息中的速度信息与加速度信息之间相互影响，所以bsm协议消息中的速度信息与加速度信息是两条相关联的协议内关联数据；协议间关联数据指的是至少两种协议消息相互关联，例如map协议消息中的地图属性信息与spat协议消息中的信号灯属性信息是两条相关联的协议间关联数据。非关联型数据指的是与其余数据之间不具有关联的数据，例如bsm协议消息中的车辆尺寸信息不与其余数据之间具有关联，所以车辆尺寸信息是非关联数据。
[0072]
示例地，从关联型数据类型与非关联型数据类型中，选择关联型数据类型，记为t1。从关联型数据类型与非关联型数据类型中，随机选择目标数据类型可以采用计算式进行随机选择。
[0073]
其中，协议消息集中具有bsm协议消息、map协议消息、spat协议消息、rsm协议消息、rsi协议消息与spdu协议消息等多个协议消息，测试设备会随机从多个协议消息中选择目标协议消息，记为t2。从这些协议消息中随机选择目标协议消息，可以采用计算式进行随机选择，m为协议消息集中协议消息的数量。
[0074]
在步骤s22中，对所述目标协议消息中至少一个字段的值进行变异，得到所述测试用例。
[0075]
其中，目标协议消息中包括多种消息，多种消息中分别又包括多个字段，所以可以从目标协议消息的多个字段中，对至少一个字段进行变异，得到测试用例，步骤s22包括以下子步骤：
[0076]
子步骤a1：从所述目标协议消息中的多个消息中，随机选择目标消息。
[0077]
目标协议消息中包括多个消息，测试设备可以随机从多个消息中选择目标消息，记为t3。从多个消息中随机选择目标消息，可以采用计算式进行随机选择，n为目标协议消息中消息的数量。
[0078]
子步骤a2：对所述目标消息中至少一个字段的值进行变异，得到所述测试用例。
[0079]
目标消息中又包含多个字段，可以随机从多个字段中选择至少一个字段的值进行变异，记为t4。从消息中随机选择至少一个字段，可以采用变异，记为t4。从消息中随机选择至少一个字段，可以采用或计算式进行随机选择，f为目标消息中字段的数量，1，2，f为随机选择的1，2，f至少一个字段。
[0080]
示例地，可以从消息层的bsm协议消息中，随机选择车辆属性信息作为目标消息；从车辆属性信息中随机选择“时间”、“车辆临时id”这两个字段进行变异，来得到测试用例。也可以从消息层的map协议消息中，随机选择车辆警示信息作为目标消息；从车辆警示信息中随机选择“车灯状态”这一个字段进行变异，来得到测试用例。
[0081]
在上述步骤中，将选择得到的t1、t2、t3、t4的组合值记为c，存储在用例记录表中，用例记录表中不仅存储了大量的测试用例，还存储了每个测试用例的生成时间、结束时间、期待结果与真实结果等，期待结果是被测设备接收到测试用例之后生成的响应消息中期望携带的字段、错误类型与层级；真实结果是被测设备接收到测试用例之后生成的响应消息中真实携带的字段、错误类型与层级。使用用例管理记录表，可以对不同的测试用例进行管理，还可以查看到不同测试用例的测试结果下对被测设备的测试情况。
[0082]
并且在将测试用例存入至用例记录表的过程中，还会检测用例记录表中是否存储了与该测试用例相同的测试用例，如果存在，则不将该测试用例存储至用例记录表中；如果不存在，则将该测试用例以键值对的形式存储至用例记录表中。
[0083][0084]
表格3
[0085]
参阅表格3所示，以键值的形式将测试用例存储至用例记录表中时，将测试用例的组合值存储至键值对中的“关键字”一列下，将测试用例中的生成时间、结束时间、期待结果与真实结果等存储至“值”一列下。
[0086]
其中，由于每个字段均具有各自的取值范围，所以在对目标消息中至少一个字段的值进行变异的过程中，是从该取值范围内或取值范围外随机选择一个取值进行变异，来得到测试用例，子步骤a1包括以下子步骤：
[0087]
子步骤b1：确定所述至少一个字段的取值范围。
[0088]
示例地，从数据库的多个数据表中，确定与目标协议消息对应的目标数据表；从所述目标数据表中获取所述至少一个字段的取值范围。
[0089]
数据库中存储了多张数据表，每张数据表与每个协议消息对应。bsm数据表存储了
bsm协议消息中的多个消息以及多个消息中的多个字段的取值范围；map数据表中存储了map协议消息中的多个消息以及多个消息中的多个字段的取值范围；spat数据表中存储了spat协议消息中的多个消息以及多个消息中的多个字段的取值范围；rsm数据表中存储了rsm协议消息中的多个消息以及多个消息中的多个字段的取值范围；rsi数据表中存储了rsi协议消息中的多个消息以及多个消息中的多个字段的取值范围。
[0090]
在随机选择了目标协议消息与变异字段之后，可以从数据库中确定与目标协议消息对应的目标数据表，从目标数据表中获取该目标协议消息下多个字段的取值范围，并从多个字段中随机选择至少一个字段的取值范围内或取值范围外的取值进行随机变异。
[0091]
子步骤b2：在所述测试用例是用于进行关联数据测试的情况下，随机选择所述取值范围内的值进行变异，得到所述测试用例。
[0092]
测试设备在识别出测试用例中所选择的t1是关联型数据类型的情况下，确定测试用例是进行关联数据测试，关联数据可以定义为取值范围内的数据，此时可以将取值范围内的值进行变异。
[0093]
示例地，bsm协议消息中存在de_heading类型的字段，其取值范围为[0，28800]，在测试用例是进行关联数据测试的情况下，则可以从(0，28800)的取值范围内随机选择45这个值进行随机变异，例如随机变异为300，其余字段的取值则从取值范围中正常选取即可，不进行变异，如此便生成了测试用例。
[0094]
子步骤b3：在所述测试用例是用于进行非关联数据测试的情况下，随机选择所述取值范围外的值进行变异，得到所述测试用例，所述取值范围外的值包括所述取值范围的临界值。
[0095]
测试设备在识别出测试用例中所选择的t1是非关联型数据类型的情况下，确定测试用例是进行非关联数据测试，非关联数据可以定义为取值范围外的数据，且取值范围外的数据包括取值范围的临界值，此时可以将取值范围外的值进行变异。
[0096]
示例地，bsm协议消息中存在de_heading类型的字段，其取值范围为[0，28800]，在测试用例是进行非关联数据测试的情况下，则可以从(-∞，0]∩[28800， ∞)的取值范围内随机选择29000这个值进行随机变异，例如随机变异为-1，其余字段的取值则从取值范围外正常选取即可，不进行变异，如此便生成了测试用例。
[0097]
相关技术中，会采用更改格式定义的方式，再利用相关工具转换成代码生成测试用例，其生成测试用例的准备过程比较复杂，自动化程度较低。
[0098]
通过上述技术方案，测试设备利用随机选取协议消息集中的目标协议消息，随机选取目标协议消息中的目标消息，随机选取目标消息中的字段，来随机生成测试用例，这种随机生成测试用例的方式，只需要测试设备进行数据的随机选择即可，并不需要进行测试用例的准备过程，其生成测试用例的自动化程度较高。
[0099]
基于同一发明构思，本公开一示例性实施例示出一种变异测试方法，该方法运用至被测设备，包括以下步骤：
[0100]
在步骤s31中，接收测试设备发送的测试用例，所述测试用例为所述测试设备对协议消息集中至少一个字段的值进行变异得到的。
[0101]
在步骤s32中，将根据所述测试用例测试后产生的响应消息发送至所述测试设备，所述响应消息用于所述测试设备依据所述响应消息确定所述被测设备是否异常。
[0102]
其中，被测设备可以在接收到测试用例后产生响应消息，也可以在接收到测试用例之后不产生响应消息。
[0103]
示例地，请参阅图2与图3所示，被测设备包括第二收发模块；测试设备包括测试用例产生模块、第一收发模块与心跳检测模块。测试用例产生模块产生测试用例，通过第一收发模块将测试用例发送至第二收发模块，被测设备使用测试用例进行测试后在固定周期内不产生响应消息；测试设备中的心跳检测模块超过固定周期未接收到响应消息，则确定被测设备异常。
[0104]
示例地，请参阅图4与图5所示，被测设备包括第二收发模块与异常分析模块，测试设备包括测试用例产生模块、用例管理模块与第一收发模块。测试用例产生模块产生测试用例，通过第一收发模块将测试用例发送至第二收发模块，被测设备中的异常分析模块判断测试用例中的字段是否在自身预设的各个字段的目标范围之内，若不在，则发送响应消息给第一收发模块，第一收发模块将响应消息返回给用例管理模块；用例管理模块依据响应消息确定被测设备的异常分析模块所进行的异常分析是否正确。
[0105]
其中，响应消息包括字段、错误类型与层级中的至少一种。
[0106]
通过上述技术方案，第一方面测试用例中的一些字段变异后，测试用例中则具有无效数据/错误数据，将产生了变异字段的测试用例发送至被测设备，可以测试被测设备在面临无效数据/错误数据的情况下，是否能够正常运行；第二方面，被测设备反馈的响应消息中存在字段、错误类型与层级，测试设备将字段与目标字段比较，错误类型与目标错误类型比较，层级与目标层级比较，可以测试被测设备的分析是否异常，即能够测试被测设备是否能够反馈正确的响应消息，进一步提高测试被测设备的准确性；第三方面，在未接收到被测设备反馈的响应消息，则确定被测设备异常的情况下，可以不必再对响应消息中的内容进行具体分析比较，减少了测试设备的计算量。
[0107]
在一种可能的实施方式中，被测设备通过以下步骤确定测试用例中的字段异常。
[0108]
在步骤s41中，在所述至少一个字段的值位于目标范围之外，或在所述至少一个字段的值位于所述目标范围之内且所述至少一个字段的值不符合预设条件的情况下，确定所述字段异常。
[0109]
其中，目标范围为字段的正常取值范围，目标范围之外为字段的异常取值范围。被测设备将测试用例中的多个字段的取值，分别与多个字段的目标范围进行比较，若字段的取值位于目标范围之内，则确定字段是正常字段；若字段的取值位于目标范围之外，则确定字段是异常字段。
[0110]
示例地，若被测设备接收到测试用例，识别出测试用例的bsm协议消息中的车辆运动状态信息中的“车速”字段的取值为255，位于被测设备的目标范围为[0，300]内的情况下，则确定该“车速”字段是正常字段；在识别出“车速”字段的取值为310的情况下，则确定该“车速”字段是异常字段。
[0111]
其中，当字段的取值位于目标范围之内，但该取值不符合预设条件的情况下，也说明该字段的取值是异常的，其中，预设条件可以为常规状况下的条件，对于不同的字段具有不同的预设条件，本公开在此不做限制。
[0112]
示例地，在“车速”字段的取值255位于[0，300]的目标范围内的情况下，但该被测设备运行过程中，前1s的运行速度为0m/s，后1s的运行速度为255m/s，车速变化过大，不符
合常规状况下的行驶速度，则超出预设条件，此时可以确定“车速”字段是异常字段。
[0113]
在步骤s42中，响应于所述字段异常，向所述测试设备发送响应消息，所述响应消息中携带有所述字段、所述字段所在的层级与所述字段的错误类型中的至少一种。
[0114]
其中，当被测设备确定了字段是异常字段之后，则将该字段、该字段的错误类型与该字段所在的层级生成为响应消息返回给测试设备。
[0115]
示例地，在被测设备确定了“车速”字段是异常字段之后，则将“车速”字段、错误类型2与消息层生成为响应消息返回给测试设备。
[0116]
通过上述技术方案，被测设备可以初步对测试用例中的字段进行异常分析，以返回给测试设备异常的字段的响应消息，以便测试设备依据响应消息确定被测设备是否能够正常进行异常分析。
[0117]
图7是根据一示例性实施例示出的一种变异测试装置的框图。参照图7，该变异测试装置120包括变异模块121，第一收发模块122和用例管理模块123。
[0118]
变异模块120，被配置为对协议消息集中至少一个字段的值进行变异，得到测试用例；
[0119]
第一收发模块121，被配置为将所述测试用例转发至被测设备，所述测试用例用于对所述被测设备进行测试；
[0120]
用例管理模块122，被配置为在接收到所述被测设备反馈的响应消息的情况下，根据所述响应消息确定所述被测设备是否异常，所述响应消息是所述被测设备采用所述测试用例进行测试后产生的消息。
[0121]
可选地，所述响应消息中携带有字段、字段所在的层级、所述字段的错误类型中的至少一种，用例管理模块122包括：
[0122]
第一异常确定模块，被配置为在以下条件满足至少一者的情况下，确定所述被测设备异常：
[0123]
所述层级与目标层级不同，所述错误类型与目标错误类型不同，所述字段与目标字段不同。
[0124]
可选地，变异测试装置120包括：
[0125]
第二异常确定模块，被配置为在未接收到所述被测设备反馈的响应消息的情况下，确定所述被测设备异常。
[0126]
可选地，变异模块120包括：
[0127]
目标协议消息选择模块，被配置为从协议消息集中，随机选择目标协议消息；
[0128]
第一变异模块，被配置为对所述目标协议消息中至少一个字段的值进行变异，得到所述测试用例。
[0129]
可选地，第一变异模块包括：
[0130]
目标消息选择模块，被配置为从所述目标协议消息中的多个消息中，随机选择目标消息；
[0131]
第二变异模块，被配置为对所述目标消息中至少一个字段的值进行变异，得到所述测试用例。
[0132]
可选地，变异模块120包括：
[0133]
取值范围确定模块，被配置为确定所述至少一个字段的取值范围；
[0134]
第三变异模块，被配置为在所述测试用例是用于进行关联数据测试的情况下，随机选择所述取值范围内的值进行变异，得到所述测试用例；
[0135]
第四变异模块，被配置为在所述测试用例是用于进行非关联数据测试的情况下，随机选择所述取值范围外的值进行变异，得到所述测试用例，所述取值范围外的值包括所述取值范围的临界值。
[0136]
可选地，变异测试装置120包括：
[0137]
目标数据类型选择模块，被配置为从非关联数据类型与关联型数据类型中，随机选择目标数据类型；
[0138]
测试确定模块，被配置为根据随机选择的所述目标数据类型，确定所述测试用例是用于非关联数据测试或关联数据测试。
[0139]
可选地，取值范围确定模块包括：
[0140]
目标数据表确定模块，被配置为从所述数据库的多个数据表中，确定与目标协议消息对应的目标数据表；
[0141]
第一取值范围确定模块，被配置为从所述目标数据表中获取所述至少一个字段的取值范围。
[0142]
图8是根据一示例性实施例示出的一种变异测试装置的框图。参照图8，该变异测试装置220包括：
[0143]
第二收发模块221，被配置为接收测试设备发送的测试用例，所述测试用例为所述测试设备对协议消息集中至少一个字段的值进行变异得到的；
[0144]
异常分析模块222，被配置为将根据所述测试用例测试后产生的响应消息发送至所述测试设备，所述响应消息用于所述测试设备依据所述响应消息确定所述被测设备是否异常。
[0145]
可选地，变异测试装置220包括：
[0146]
异常分析模块，被配置为在所述至少一个字段的值位于目标范围之外，或在所述至少一个字段的值位于所述目标范围之内且所述至少一个字段的值不符合预设条件的情况下，确定所述字段异常；
[0147]
第三收发模块，被配置为响应于所述字段异常，向所述测试设备发送响应消息，所述响应消息中携带有字段、所述字段所在的层级与所述字段的错误类型中的至少一种。第三收发模块可以是第二收发模块，也可以为新增的收发模块，本公开在此不做限制。
[0148]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0149]
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的变异测试方法的步骤。
[0150]
图9是根据一示例性实施例示出的一种用于变异测试的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0151]
参照图9，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。
[0152]
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0153]
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0154]
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
[0155]
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0156]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0157]
输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0158]
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0159]
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。
在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0160]
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述变异测试方法。
[0161]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0162]
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(integrated circuit，ic)或芯片，其中该集成电路可以是一个ic，也可以是多个ic的集合；该芯片可以包括但不限于以下种类：gpu(graphics processing unit，图形处理器)、cpu(central processing unit，中央处理器)、fpga(field programmable gate array，可编程逻辑阵列)、dsp(digital signal processor，数字信号处理器)、asic(application specific integrated circuit，专用集成电路)、soc(system on chip，soc，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的变异测试方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的变异测试方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的变异测试方法。
[0163]
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的变异测试方法的代码部分。
[0164]
图10是根据一示例性实施例示出的一种用于变异测试的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图10，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述变异测试方法。
[0165]
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入/输出接口1958。装置1900可以操作基于存储在存储器1932的操作系统。
[0166]
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0167]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。