一种测试方法及装置与流程

摘要: 本技术涉及软件测试领域,尤其涉及一种测试方法及装置。背景技术:1、在自动化测试过程中,通常需要从多个数据源采集测试信息,并将采集到的实际结果与预期结果进行比较,...
一种测试方法及装置与流程

本技术涉及软件测试领域,尤其涉及一种测试方法及装置。

背景技术:

1、在自动化测试过程中,通常需要从多个数据源采集测试信息,并将采集到的实际结果与预期结果进行比较,以判断测试用例是否通过。当数据由不同的处理系统或者处理环节产生时,其生成时机和所依赖的前置条件通常并不相同。现有技术通常在测试任务启动后,按照统一的起始时间或者固定等待时间采集各数据源的信息,并在达到预设等待时间后统一执行断言。如此,已经完成或者已经确定失败的数据源一直处于等待状态,增加资源占用且效率低下。

2、因此,如何提高自动化测试的效率,是目前需解决的技术问题。

技术实现思路

1、本技术提供一种测试方法及装置,用于提高自动化测试的效率。

2、第一方面,本技术提供一种测试方法,该方法包括:启动测试计划,测试计划包括至少一个测试用例,测试用例配置有用于存储各阶段测试数据的多个数据源以及断言规则,每个数据源包括数据状态和起始条件;多个数据源中的至少一个数据源的起始条件包括另一数据源的数据状态达到预设状态;在测试用例的执行过程中,若第一数据源的数据状态满足第二数据源的起始条件,则从第二数据源获取所处阶段的测试数据,并根据所处阶段的测试数据更新第二数据源的数据状态;根据断言规则对各数据源的测试数据执行断言,并根据断言的执行结果,确定测试计划的测试结果。

3、在一种可能的实现方式中,测试方法用于对语音机器人进行测试;启动测试计划,包括:启动测试计划并为测试计划生成计划运行标识;为任一测试用例生成测试用例标识,并在测试用例执行时生成用例执行标识;在测试用例执行过程中,为向外呼系统提交的呼叫名单生成名单批次标识,且将名单批次标识与用例执行标识关联;在外呼系统每次呼叫目标对象时,生成对象呼叫标识且将名单批次标识与用例执行标识关联;任一数据源在存储任一测试数据时携带计划运行标识、对应的测试用例标识以及用例执行标识。

4、在一种可能的实现方式中,根据断言规则对各数据源的测试数据执行断言,包括:基于与名单批次标识关联的对象呼叫标识,确定名单批次标识中多个目标对象中未发生实际呼叫的目标对象;获取未发生实际呼叫的目标对象对应的取消呼叫原因,并将取消呼叫原因与断言规则中的预期取消呼叫原因进行比较;当多个对象呼叫标识对应同一目标对象时,对多个对象呼叫标识对应的实际呼叫语音数据进行聚合;将任一目标对象对应的实际呼叫语音数据与断言规则中对应的预期结果进行比较。

5、在一种可能的实现方式中,将任一目标对象对应的实际呼叫语音数据与断言规则中对应的预期结果进行比较,包括:从任一目标对象对应的实际呼叫语音数据中,确定语音机器人的目标声道,并提取目标声道的脉冲编码调制数据;从脉冲编码调制数据中确定多个有效语音窗口;基于断言规则中对应的预期结果,确定语音机器人在多个有效语音窗口中的音量稳定性测试结果、音色测试结果以及语速稳定性测试结果。

6、在一种可能的实现方式中,基于断言规则中对应的预期结果,确定语音机器人在多个有效语音窗口中的音量稳定性测试结果,包括:分别确定各有效语音窗口的均方根数字电平;根据多个有效语音窗口的均方根数字电平,确定多个有效语音窗口之间的均方根数字电平相对波动;根据均方根数字电平相对波动与断言规则指示的预设音量波动阈值的比较结果,确定语音机器人的音量稳定性测试结果。

7、在一种可能的实现方式中,基于断言规则中对应的预期结果,确定语音机器人在多个有效语音窗口中的音色测试结果,包括:对多个有效语音窗口的语音特征进行聚类,得到多个音色簇;从多个音色簇中确定主簇,并根据主簇中各有效语音窗口的语音特征确定主簇质心;获取与语音机器人对应的外部音色基准组,并根据外部音色基准组中的语音特征确定基准质心;根据主簇质心与基准质心之间的距离以及断言规则指示的预设音色身份阈值,确定语音机器人的音色身份匹配测试结果;基于离群簇中有效语音窗口的数量和/或离群簇中语音持续时长,与断言规则指示的漂移阈值进行比较,确定语音机器人的音色稳定性测试结果。

8、在一种可能的实现方式中,基于、断言规则中对应的预期结果,确定语音机器人在多个有效语音窗口中的语速稳定性测试结果,包括:将脉冲编码调制数据划分为多个音频帧;确定各音频帧的对数梅尔频谱,并计算时间上相邻的两个音频帧的对数梅尔频谱之间的欧氏距离;根据多个欧氏距离确定起始判定阈值,并将欧氏距离超过起始判定阈值的音频帧确定为候选声学起始帧;针对每个有效语音窗口,根据该有效语音窗口内的候选声学起始帧的数量与该有效语音窗口的有效时长,确定该有效语音窗口的局部速率值;根据多个有效语音窗口的局部速率值确定局部速率波动;确定局部速率波动超过断言规则指示的预设速率波动阈值的连续有效语音窗口的数量;在数量达到断言规则指示的预设数量时,确定语音机器人的语速稳定性测试结果为异常。

9、第二方面,本技术提供一种测试装置,该装置包括:

10、启动模块,用于启动测试计划,测试计划包括至少一个测试用例,测试用例配置有用于存储各阶段测试数据的多个数据源以及断言规则,每个数据源包括数据状态和起始条件;多个数据源中的至少一个数据源的起始条件包括另一数据源的数据状态达到预设状态;

11、获取模块,用于在测试用例的执行过程中,若第一数据源的数据状态满足第二数据源的起始条件,则从第二数据源获取所处阶段的测试数据,并根据所处阶段的测试数据更新第二数据源的数据状态;

12、确定模块,用于根据断言规则对各数据源的测试数据执行断言,并根据断言的执行结果,确定测试计划的测试结果。

13、在一种可能的实现方式中,测试方法用于对语音机器人进行测试;启动模块具体用于:启动测试计划并为测试计划生成计划运行标识;为任一测试用例生成测试用例标识,并在测试用例执行时生成用例执行标识;在测试用例执行过程中,为向外呼系统提交的呼叫名单生成名单批次标识,且将名单批次标识与用例执行标识关联;在外呼系统每次呼叫目标对象时,生成对象呼叫标识且将名单批次标识与用例执行标识关联;任一数据源在存储任一测试数据时携带计划运行标识、对应的测试用例标识以及用例执行标识。

14、在一种可能的实现方式中,确定模块具体用于:基于与名单批次标识关联的对象呼叫标识,确定名单批次标识中多个目标对象中未发生实际呼叫的目标对象;获取未发生实际呼叫的目标对象对应的取消呼叫原因,并将取消呼叫原因与断言规则中的预期取消呼叫原因进行比较;当多个对象呼叫标识对应同一目标对象时,对多个对象呼叫标识对应的实际呼叫语音数据进行聚合;将任一目标对象对应的实际呼叫语音数据与断言规则中对应的预期结果进行比较。

15、在一种可能的实现方式中,确定模块具体用于:从任一目标对象对应的实际呼叫语音数据中,确定语音机器人的目标声道,并提取目标声道的脉冲编码调制数据;从脉冲编码调制数据中确定多个有效语音窗口;基于断言规则中对应的预期结果,确定语音机器人在多个有效语音窗口中的音量稳定性测试结果、音色测试结果以及语速稳定性测试结果。

16、在一种可能的实现方式中,确定模块具体用于:分别确定各有效语音窗口的均方根数字电平;根据多个有效语音窗口的均方根数字电平,确定多个有效语音窗口之间的均方根数字电平相对波动;根据均方根数字电平相对波动与断言规则指示的预设音量波动阈值的比较结果,确定语音机器人的音量稳定性测试结果。

17、在一种可能的实现方式中,确定模块具体用于:对多个有效语音窗口的语音特征进行聚类,得到多个音色簇;从多个音色簇中确定主簇,并根据主簇中各有效语音窗口的语音特征确定主簇质心;获取与语音机器人对应的外部音色基准组,并根据外部音色基准组中的语音特征确定基准质心;根据主簇质心与基准质心之间的距离以及断言规则指示的预设音色身份阈值,确定语音机器人的音色身份匹配测试结果;基于离群簇中有效语音窗口的数量和/或离群簇中语音持续时长,与断言规则指示的漂移阈值进行比较,确定语音机器人的音色稳定性测试结果。

18、在一种可能的实现方式中,确定模块具体用于:将脉冲编码调制数据划分为多个音频帧;确定各音频帧的对数梅尔频谱,并计算时间上相邻的两个音频帧的对数梅尔频谱之间的欧氏距离;根据多个欧氏距离确定起始判定阈值,并将欧氏距离超过起始判定阈值的音频帧确定为候选声学起始帧;针对每个有效语音窗口,根据该有效语音窗口内的候选声学起始帧的数量与该有效语音窗口的有效时长,确定该有效语音窗口的局部速率值;根据多个有效语音窗口的局部速率值确定局部速率波动;确定局部速率波动超过断言规则指示的预设速率波动阈值的连续有效语音窗口的数量;在数量达到断言规则指示的预设数量时,确定语音机器人的语速稳定性测试结果为异常。

19、第三方面,本技术还提供一种测试装置,该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述计算机程序时,实现如第一方面的各种可能的设计中所述的方法。

20、第四方面,本技术还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序或指令,计算机程序或指令被处理器执行时,实现如第一方面的各种可能的设计中所述的方法。

21、第五方面,本技术还提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行如上述第一方面任一所述的方法。

22、通过为各数据源配置数据状态和起始条件,并将至少一个数据源的起始条件设置为另一数据源的数据状态达到预设状态,可以根据各阶段测试数据之间的依赖关系依次触发数据获取,使依赖前一阶段处理结果的数据源在具备数据生成条件后再开始获取测试数据,无需从测试计划启动时刻对全部数据源统一采集或者统一等待,从而减少无效查询和等待过程,降低测试线程及外部服务连接的资源占用。同时,根据获取到的测试数据更新对应数据源的数据状态,并在此基础上对各数据源的测试数据执行断言,可以避免因后续测试数据尚未生成而提前执行断言,降低将未就绪数据误判为数据缺失或者测试失败的可能性,并能够将不同阶段的断言结果统一用于确定测试计划的测试结果,进而提高测试结果的准确性和测试流程的执行效率。

23、本技术的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。