一种离线响应结构驱动的车载诊断测试用例种子生成方法

摘要: 本发明涉及车载诊断通信数据处理和自动化测试,尤其涉及一种从离线车载诊断通信记录中推断请求字段模板、请求—响应关联关系和响应结构基准,并基于所述响应结构基准生成、...
一种离线响应结构驱动的车载诊断测试用例种子生成方法

本发明涉及车载诊断通信数据处理和自动化测试,尤其涉及一种从离线车载诊断通信记录中推断请求字段模板、请求—响应关联关系和响应结构基准,并基于所述响应结构基准生成、执行和筛选车载诊断测试用例种子的方法及计算机可读存储介质。

背景技术:

1、车载诊断测试通常需要向电子控制单元或者诊断协议模拟环境发送诊断请求,并根据返回的肯定响应、标准否定响应、结构异常响应或者超时情况判断测试结果。测试用例的初始请求可以来源于人工编写、协议规范、历史通信记录或者随机生成。

2、现有基于历史通信记录生成测试用例的方案,通常侧重于从请求报文中选择代表性报文,或者对请求载荷中的字节执行随机变异、边界值替换和按位翻转。该类方案未充分利用与历史请求对应的响应消息,因而难以判断哪些请求字段为固定字段、哪些字段可以变异,也难以针对变异后的具体请求自动生成相匹配的预期响应。

3、部分方案可以根据时间邻近关系寻找请求之后的响应,但仅根据单个样本或者固定字节值相同推断回显关系,容易将请求和响应中恰好相同的固定字段错误识别为参数回显字段。错误的回显关系会导致变异后预期响应更新错误,从而产生错误判定。

4、此外,肯定响应与标准否定响应的结构和评价目的不同。肯定响应通常需要检查响应服务标识、参数回显及响应载荷结构;标准否定响应通常需要检查否定响应服务标识、原请求服务标识和否定响应码。若对两类响应使用相同的参数回显筛选条件,标准否定响应可能因不存在对应的参数回显字段而被错误淘汰。

5、因此,需要一种能够从离线诊断通信记录中形成请求字段模板和离线响应结构基准,利用跨样本变化验证连续字段回显关系,为变异后的候选测试用例生成用例专属预期响应结构,并通过肯定响应与标准否定响应差异化筛选得到可复用测试用例种子的技术方案。

技术实现思路

1、本发明的目的在于提供一种离线响应结构驱动的车载诊断测试用例种子生成方法,以解决现有技术中仅对请求报文进行变异、不能可靠推断请求参数与响应参数之间的回显关系、不能自动生成用例专属预期响应以及不能对肯定响应和标准否定响应进行差异化验证的问题。

2、为实现上述目的,本发明提供一种离线响应结构驱动的车载诊断测试用例种子生成方法,包括以下步骤。

3、步骤一,获取离线车载诊断通信记录。所述离线车载诊断通信记录包括测试执行前已经获得的请求消息、响应消息,以及与请求消息和响应消息对应的时间戳、通信方向、寻址信息和原始数据载荷。所述离线车载诊断通信记录可以来源于日志文件、报文文件、数据表或者经过授权的采集记录。

4、步骤二,对离线通信记录进行规范化。通过与所述离线车载诊断通信记录的通信协议对应的协议适配器进行报文解析、分段重组和有效载荷提取,得到规范化消息记录。所述规范化消息记录至少包括时间戳、通信方向、寻址信息和规范化诊断有效载荷。对于采用长度字段限定有效载荷的通信协议,根据长度字段及协议封装规则确定有效载荷边界,不能仅因为一个字节的取值为0x00就将其识别为填充字节。

5、步骤三,生成请求字段模板。对规范化消息记录中的请求消息按照协议类型、通信方向、寻址信息、诊断服务标识和载荷长度中的至少两项进行分组。统计每一分组内各字节位置的取值分布,根据所述取值分布将各字节位置划分为固定位置和可变位置,生成请求字段模板。

6、对于包含n个请求消息的分组,在第j个字节位置统计字节值v的出现次数cj(v),按照下式计算固定位置置信度fj:

7、

8、当fj不低于预设固定位置阈值时,将第j个字节位置判定为固定位置;否则,将第j个字节位置判定为可变位置。当两个或者两个以上字节值具有相同的最高出现次数时,将对应字节位置判定为可变位置,或者降低该字节位置的固定位置置信度。还可以设置最小分组样本量。当请求消息分组的样本数量低于所述最小分组样本量时,不使用该请求消息分组进行高置信度请求字段模板推断。

9、步骤四,建立请求—响应关联。对于每一请求消息,在预设交互时间窗口内,根据通信方向、寻址对应关系和诊断服务响应规则,从位于该请求消息之后的响应消息中寻找候选响应消息。

10、判断候选响应消息与请求消息的通信方向是否相反、寻址信息是否符合预设对应关系,以及响应服务标识是否满足肯定响应规则或者否定响应规则。若存在多个满足条件的候选响应消息,则选择与请求消息时间间隔最小且能够唯一确定的候选响应消息。若不能唯一确定关联响应消息,则将对应的请求消息标记为低置信度请求消息,并禁止所述低置信度请求消息参与高置信度离线响应结构基准的生成。

11、步骤五,生成离线响应结构基准。对同一请求消息分组内的多个高置信度请求—响应关联对进行统计,生成离线响应结构基准。所述离线响应结构基准至少包括响应服务标识规则、响应载荷长度、响应固定位置、响应可变位置,以及请求字段与响应字段之间的回显映射。

12、对请求候选字段u和响应候选字段v,根据m个请求—响应关联对计算字段映射匹配率q(u,v):

13、

14、其中,qk[u]表示第k个请求消息的候选字段u,rk[v]表示第k个关联响应消息的候选字段v,i(·)为指示函数。当两个字段取值相同时取1,否则取0。只有当q(u,v)不低于预设回显阈值,并且请求候选字段u在不同请求消息之间至少包含一个发生变化的字节位置,且该字节位置的变化在响应候选字段v中同步出现时,才建立请求候选字段u与响应候选字段v之间的回显映射。所述回显映射可以是单字节位置映射,也可以是连续字节字段映射。通过要求候选字段中至少包含一个跨样本变化且同步出现的字节位置,排除请求字段和响应字段中的固定字节值恰好相同而形成的假回显关系。

15、步骤六,生成候选测试用例。从请求消息分组中选取符合请求字段模板的历史请求消息作为初始测试用例种子。对初始测试用例种子的可变位置执行变异,生成候选测试用例。所述变异至少包括以下一种:字节边界值替换;历史取值替换;枚举值替换;按位翻转;随机值替换。

16、步骤七,生成用例专属预期响应结构。根据候选测试用例所属请求消息分组的离线响应结构基准,为每个候选测试用例生成用例专属预期响应结构。所述用例专属预期响应结构包括肯定预期响应结构和否定预期响应结构。对于肯定预期响应结构,复制候选测试用例所属请求消息分组的离线响应结构基准,并根据回显映射,将候选测试用例中发生变化的请求字段值同步写入肯定预期响应结构中的对应响应字段。对于否定预期响应结构,至少设置否定响应服务标识、原请求服务标识和否定响应码位置。同一个候选测试用例的用例专属预期响应结构可以同时包含肯定预期响应结构和否定预期响应结构。

17、步骤八,重复执行并计算验证指标。在测试环境中重复执行候选测试用例。每次执行记录请求发送信息、实际响应、响应类型、结构匹配结果、参数回显匹配结果和是否超时,并将每次实际执行结果分类为肯定响应、标准否定响应、结构异常响应或者超时。

18、设候选测试用例的重复执行次数为k,肯定响应次数为npos,标准否定响应次数为nneg,结构异常响应次数为nabn,超时次数为ntimeout,则:

19、

20、协议响应率rresp、结构异常率rabn和超时率rtimeout分别按照下式计算:

21、

22、本说明书中的协议响应率是指有效协议响应率。结构异常响应虽然表示测试环境返回了响应报文,但该响应报文不满足肯定响应规则或者标准否定响应规则,因此不计入有效协议响应次数,并通过结构异常率rabn单独评价。

23、当npos大于0时,进一步计算参数回显匹配率和肯定响应结构一致率。

24、设满足用例专属连续字段回显映射的肯定响应次数为necho,满足肯定预期响应结构的肯定响应次数为npos-match,则参数回显匹配率recho和肯定响应结构一致率rpos分别为:

25、当nneg大于0时,进一步计算否定响应结构一致率。

26、设满足否定预期响应结构的标准否定响应次数为nneg-match,则否定响应结构一致率rneg为:

27、

28、当npos等于0时,不计算参数回显匹配率和肯定响应结构一致率;当nneg等于0时,不计算否定响应结构一致率。

29、步骤九,实施差异化筛选。对获得肯定响应的候选测试用例和获得标准否定响应的候选测试用例采用不同指标进行筛选。对于获得肯定响应的候选测试用例,将协议响应率、参数回显匹配率和肯定响应结构一致率分别不低于对应阈值,且结构异常率和超时率分别不高于对应阈值,作为肯定响应种子的筛选条件。

30、对于获得标准否定响应的候选测试用例,将协议响应率和否定响应结构一致率分别不低于对应阈值,且结构异常率和超时率分别不高于对应阈值,作为否定响应种子的筛选条件。参数回显匹配率不参与否定响应种子的筛选。将满足对应筛选条件的候选测试用例确定为经验证测试用例种子,得到经验证测试用例种子集合。

31、进一步地,本发明方法还可以生成与经验证测试用例种子集合对应的验证证据文件。所述验证证据文件记录原始离线报文、请求消息分组、离线响应结构基准、初始测试用例种子、候选测试用例、执行记录、响应记录、验证结论和经验证测试用例种子之间的关联关系。所述执行记录至少包括请求发送信息、执行时间、执行次数和测试环境信息。验证证据文件的生成属于可选输出步骤,不构成生成经验证测试用例种子的必要条件。

32、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。

33、上述方法可以由计算机程序实现。处理器执行所述计算机程序时,依次完成离线通信记录规范化、请求字段模板推断、请求—响应关联、离线响应结构基准生成、连续字段回显映射生成、初始测试用例种子选取、候选测试用例生成、用例专属预期响应结构生成、候选测试用例重复执行、实际响应分类、指标计算和差异化筛选处理。

34、与现有技术相比,本发明至少具有以下有益效果:

35、第一,同时利用历史请求和历史响应形成测试用例生成依据,避免仅对请求消息进行无约束变异。

36、第二,通过包含跨样本变化字节的连续字段匹配验证回显关系,降低固定字段相同导致的假回显风险。

37、第三,能够根据候选请求的具体变异值自动更新肯定预期响应结构,形成用例专属响应判定规则。

38、第四,分别处理肯定响应和标准否定响应,使符合协议规则的标准否定响应也能够形成可复用的测试用例种子。

39、第五,通过结构异常率和超时率限制结构异常响应及超时结果对种子筛选的影响,提高筛选结果的可靠性。

40、第六,通过重复执行和溯源记录提高测试用例种子的可复现性和可审计性。