自动化压测方法、装置、存储介质及电子装置与流程

1.本发明涉及计算机领域，具体而言，涉及一种自动化压测方法、装置、存储介质及电子装置。


背景技术：

2.在物联网的发展下，越来越多的智能设备通过连接完成智能控制，对智能设备的要求越来越高，需要不同场景下完成智能设备的压力测试。
3.相关技术中，通过语音识别完成测试，每次版本迭代，新需求对应的文本需要专门录制测试音频、录音标注文本编写本地存放大量测试集音频，占用大量时间与人力资源提前录制测试集和录音标注文本。测试效率低。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种自动化压测方法、装置、存储介质及电子装置，以至少解决现有技术中，智能设备压测效率较低的技术问题。
6.根据本发明实施例的一个方面，提供了一种自动化压测方法，包括：获取第一音频文本以及音频的测试参数，其中，所述第一音频文本是新音频文本；基于所述测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，所述第二音频文本是历史版本音频文本；通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。
7.可选的，所述基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，包括：对所述测试参数进行各种交叉组合，得到处理后的测试参数，其中，所述测试参数包括以下之一：音频格式，码率，语速，音量，语调，静音时长；基于处理后的所述测试参数，以及所述第一音频文本和所述第二音频文本，生成所述语音测试集。
8.可选的，所述获取第一音频文本以及音频的测试参数，包括：获取录制音频，通过自动语音识别技术，得到所述第一音频文本，其中，所述第一音频文本周期性不同。
9.可选的，所述通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告，包括：对所述语音测试集中的语音标注文本；获取所述语音测试集中的语音的预期断句时间；通过标注文本的语音和所述预期断句时间，分别测试所述第一测试模型和所述第二测试模型，得到对应的所述第一测试报告和所述第二测试报告。
10.可选的，所述通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告之后，所述方法还包括：基于所述第一测试报告和所述第二测试报告统计预设测试，其中，所述预测参数包括断句时间和/或识别效率。
11.根据本发明实施例的另一方面，还提供了一种自动化压测装置，包括：获取单元，用于获取第一音频文本以及音频的测试参数，其中，所述第一音频文本是新音频文本；生成
单元，用于基于所述测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，所述第二音频文本是历史版本音频文本；测试单元，用于通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。
12.可选的，所述生成单元，包括：处理模块，用于对所述测试参数进行各种交叉组合，得到处理后的测试参数，其中，所述测试参数包括以下之一：音频格式，码率，语速，音量，语调，静音时长；生成模块，用于基于处理后的所述测试参数，以及所述第一音频文本和所述第二音频文本，生成所述语音测试集。
13.可选的，所述获取单元，包括：第一获取模块，用于获取录制音频，通过自动语音识别技术，得到所述第一音频文本，其中，所述第一音频文本周期性不同。
14.可选的，所述测试单元，包括：标注模块，用于对所述语音测试集中的语音标注文本；第二获取模块，用于获取所述语音测试集中的语音的预期断句时间；测试模块，用于通过标注文本的语音和所述预期断句时间，分别测试所述第一测试模型和所述第二测试模型，得到对应的所述第一测试报告和所述第二测试报告。
15.可选的，所述装置还包括：统计单元，用于所述通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告之后，基于所述第一测试报告和所述第二测试报告统计预设测试，其中，所述预测参数包括断句时间和/或识别效率。
16.根据本技术实施例的第一个方面，提供了一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述自动化压测方法。
17.根据本技术实施例的第一个方面，提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述自动化压测方法。
18.在本发明实施例中，获取第一音频文本以及音频的测试参数，其中，第一音频文本是新音频文本；基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，第二音频文本是历史版本音频文本；通过语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。即在本发明中，仅需设置好音频文本,无需人工干预即可生成测试集及标注文本，节省资源，提高迭代效率，进而解决了现有技术中，智能设备压测效率较低的技术问题。
附图说明
19.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
20.图1是根据本发明实施例的一种可选的自动化压测方法的移动终端的硬件结构框图；
21.图2是根据本发明实施例的一种可选的自动化压测方法的流程图；
22.图3是根据本发明实施例的一种可选的基于语音识别和语音合成融合自动化性能压测方法的示意图；
23.图4是根据本发明实施例的一种可选的自动化压测装置图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一序列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.本技术实施例所提供的自动化压测方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种自动化压测方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
27.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的自动化压测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
28.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
29.在本实施例中还提供了一种自动化压测方法，图2是根据本发明实施例的自动化压测方法的流程图，如图2所示，该自动化压测方法流程包括如下步骤：
30.步骤s202，获取第一音频文本以及音频的测试参数，其中，第一音频文本是新音频文本。
31.步骤s204，基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，第二音频文本是历史版本音频文本。
32.步骤s206，通过语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。
33.在本实施例中，上述方法可以包括但不限于应用智能设备的压力测试(压测)。上述被控制设备可以包括一个或多个。
34.其中，上述测试数据可以包括但不限于音频格式，码率，语速，音量，语调，静音时长，语音亮度，多音字不同读法等，每个参数可配置多个参数。
35.其中，上述自动化压测方法的执行主体可以包括但不限于由智能设备、服务器、终端设备等。
36.通过本技术提供的实施例，获取第一音频文本以及音频的测试参数，其中，第一音频文本是新音频文本；基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，第二音频文本是历史版本音频文本；通过语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。即在本发明中，仅需设置好音频文本,无需人工干预即可生成测试集及标注文本，节省资源，提高迭代效率，进而解决了现有技术中，智能设备压测效率较低的技术问题。
37.可选的，所述基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，可以包括：对所述测试参数进行各种交叉组合，得到处理后的测试参数，其中，所述测试参数包括以下之一：音频格式，码率，语速，音量，语调，静音时长；基于处理后的所述测试参数，以及所述第一音频文本和所述第二音频文本，生成所述语音测试集。
38.可选的，所述获取第一音频文本以及音频的测试参数，可以包括：获取录制音频，通过自动语音识别技术，得到所述第一音频文本，其中，所述第一音频文本周期性不同。
39.可选的，所述通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告，可以包括：对所述语音测试集中的语音标注文本；获取所述语音测试集中的语音的预期断句时间；通过标注文本的语音和所述预期断句时间，分别测试所述第一测试模型和所述第二测试模型，得到对应的所述第一测试报告和所述第二测试报告。
40.可选的，所述通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告之后，所述方法还可以包括：基于所述第一测试报告和所述第二测试报告统计预设测试，其中，所述预测参数包括断句时间和/或识别效率。
41.作为一种可选的实施例，本技术还提供了一种基于语音识别和语音合成融合自动化性能压测方法。如图3所示，基于语音识别和语音合成融合自动化性能压测方法的示意图。
42.如图3所示，包括tts服务、测试工具、asr，其中，测试工具中包括配置文件、测试工具语音生成模块、测试音频集临时目录、测试工具语音测试模块、测试工具结果分析模块、测试工具报告模块；asr包括asr服务旧模型、asr服务新模型。
43.本实施例中，需要与tts(语音合成)进行配合，通过tts实时生成音频来进行测试。
44.1)测试工具读取配置，包含音频文本、测试参数(音频格式，码率，语速，音量，语调，静音时长，语音亮度，多音字不同读法等，每个参数可配置多个参数)。
45.其中，读取配置文件，根据音频文本，参数等规划好测试集数量，请求tts并非参数等。
46.2)各种参数交叉组合后，根据新音频文本与历史版本音频文本，生成多套录音测试集，标注文本，预期断句时间等。
47.其中，测试工具语音生成模块可以用于存放音频测试集文件。从测试音频集临时目录中读取音频文件原始数据。
48.3)asr2套环境，1套使用旧模型，1套使用新模型。
49.4)执行2套环境的asr测试，多个测试集执行完成后，进行词错率wer/语音情感识别ser、断句时间、识别效率等指标统计。
50.其中，音频识别结果，断句时间，最后分片发送与最终识别结果时间差等指标。
51.5)对2个环境的各项指标进行分析后生成测试报告。
52.其中，asr是指自动语音识别技术(automatic speech recognition)，是一种将人的语音转换为文本的技术。
53.相关技术中，语音识别产品会定期收集客户反馈进行模型更新，迭代较为频繁，每次迭代，都要根据新需求进行测试音频录制，标注文件编写，断句时间维护等。
54.在本实施例中，使用该套测试工具，仅需要维护需求迭代产生的音频文本，即可通过tts生成测试音频集，随后进行全量测试生成对应测试报告，快速支撑模型迭代升级，节省时间及人力资源。
55.在本实施例中，该自动化测试方法弥补了现有技术需要占用大量时间与人力资源提前录制测试集和录音标注文本，仅需设置好音频文本，无需人工干预即可生成测试集及标注文本，节省资源,提高迭代效率。
56.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
57.在本实施例中还提供了一种自动化压测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
58.图4是根据本发明实施例的自动化压测装置的结构框图，如图4所示，该自动化压测装置包括：
59.获取单元41，用于获取第一音频文本以及音频的测试参数，其中，所述第一音频文本是新音频文本。
60.生成单元43，用于基于所述测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，所述第二音频文本是历史版本音频文本。
61.测试单元45，用于通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。
62.通过本技术提供的实施例，获取单元41获取第一音频文本以及音频的测试参数，其中，第一音频文本是新音频文本；生成单元43基于测试参数，以及第一音频文本和第二音
频文本，生成语音测试集，其中，第二音频文本是历史版本音频文本；测试单元45通过语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。即在本发明中，仅需设置好音频文本,无需人工干预即可生成测试集及标注文本，节省资源，提高迭代效率，进而解决了现有技术中，智能设备压测效率较低的技术问题。
63.可选的，所述生成单元43，可以包括：处理模块，用于对所述测试参数进行各种交叉组合，得到处理后的测试参数，其中，所述测试参数包括以下之一：音频格式，码率，语速，音量，语调，静音时长；生成模块，用于基于处理后的所述测试参数，以及所述第一音频文本和所述第二音频文本，生成所述语音测试集。
64.可选的，所述获取单元41，可以包括：第一获取模块，用于获取录制音频，通过自动语音识别技术，得到所述第一音频文本，其中，所述第一音频文本周期性不同。
65.可选的，所述测试单元45，可以包括：标注模块，用于对所述语音测试集中的语音标注文本；第二获取模块，用于获取所述语音测试集中的语音的预期断句时间；测试模块，用于通过标注文本的语音和所述预期断句时间，分别测试所述第一测试模型和所述第二测试模型，得到对应的所述第一测试报告和所述第二测试报告。
66.可选的，所述装置还包括：统计单元，用于所述通过所述语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告之后，基于所述第一测试报告和所述第二测试报告统计预设测试，其中，所述预测参数包括断句时间和/或识别效率。
67.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
68.本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
69.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
70.s1，获取第一音频文本以及音频的测试参数，其中，第一音频文本是新音频文本；
71.s2，基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，第二音频文本是历史版本音频文本；
72.s3，通过语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。
73.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
74.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
75.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
76.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
77.s1，获取第一音频文本以及音频的测试参数，其中，第一音频文本是新音频文本；
78.s2，基于测试参数，以及第一音频文本和第二音频文本，生成语音测试集，其中，第二音频文本是历史版本音频文本；
79.s3，通过语音测试集分别测试第一测试模型和第二测试模型，得到对应的第一测试报告和第二测试报告。
80.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
81.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
82.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。