语音服务测试系统、方法、装置及设备与流程

1.本技术涉及智能音箱语音服务测试技术领域，具体涉及语音服务测试系统、方法和装置，智能音箱，以及电子设备。


背景技术：

2.智能音箱，是一个音箱升级的产物，是家庭消费者用语音进行上网的一个工具，比如点播歌曲、上网购物，或是了解天气预报，它也可以对智能家居设备进行控制，比如打开窗帘、设置冰箱温度、提前让热水器升温等。
3.智能音箱可提供多种语音服务，也就是说拥有多种语音技能。语音技能特指透过语音提供的功能或服务，如“查看天气”是一项语音技能，“听音乐”也是一项技能。语音服务通常由第三方智能语音服务厂商负责开发。在新开发的语音服务正式使用前，通常需要对该语音服务进行测试，以确保该服务能按预定的方式正确地运行。目前，一种典型的语音服务测试方式是非真机测试方案，开发者通过语音服务开发平台对语音服务进行测试，该平台提供基于web页面或者客户模拟程序的语音服务测试功能。具体而言，可以是以文本指令为必选input的非真机测试方案，该方案允许测试人员将对话文本输入进测试设备，然后测试设备反馈给使用者执行结果。此外，也可以是以音频信息为必选input的非真机测试方案，该方案允许测试人员将真实的音频信息输入测试设备，测试设备反馈给使用者执行结果。
4.然而，在实现本发明过程中，发明人发现该技术方案至少存在如下问题：由于非真机测试方案只模拟了真实执行链路中的一部份，无法模拟语音服务真实上线集成到智能语音音箱商的效果，因此只能暴露出语音服务存在的部分不足点和漏洞点，而无法暴露出诸如进入语音服务之前的前置链路效果，诸如从用户对音箱发出指令，到音箱给到反馈的时间耗时体感，诸如服务执行反馈结果，等等。此外，现有测试方案的测试效率也较低。综上所述，如何提升语音服务测试准确度和测试效率，以满足语音服务开发者的测试需求与智能音箱语音服务平台的语音服务审核人员的审核需求，成为本领域技术人员迫切需要解决的技术问题。


技术实现要素：

5.本技术提供语音服务测试系统，以解决现有技术存在的测试准确度和测试效率均较低的问题。本技术另外提供语音服务测试方法和装置，智能音箱，以及电子设备。
6.本技术提供一种语音服务测试系统，包括：
7.智能音箱，用于采集用户语音数据，向服务端发送针对所述用户语音数据的语音服务请求；以及，展示服务端回送的语音服务处理结果；
8.服务端，用于确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；以及，根据所述请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；若与所述智能音箱对应
的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱。
9.本技术还提供一种语音服务测试方法，包括：
10.确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；
11.根据智能音箱发送的针对用户语音数据的语音服务请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；
12.若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱，以使得智能音箱展示语音服务处理结果。
13.可选的，还包括：
14.接收客户端发送的针对目标用户或目标智能音箱的待测试语音服务绑定请求；
15.存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
16.可选的，所述待测试语音服务包括：已发布语音服务的更新版本；
17.若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的已发布语音服务的更新版本，则通过所述更新版本的待测试语音服务处理所述用户语音数据；
18.若与所述智能音箱对应的待测试语音服务不包括与所述用户语音数据对应的已发布语音服务的更新版本，则通过所述已发布语音服务处理所述用户语音数据。
19.可选的，还包括：
20.将与所述智能音箱对应的待测试语音服务和已发布语音服务，作为对话理解和语音服务决策模型的语音服务决策对象；
21.通过语音识别模型，确定与所述用户语音数据对应的文本序列；
22.通过所述决策模型，根据所述文本序列，确定与所述用户语音数据对应的待测试语音服务或已发布语音服务。
23.可选的，所述用户包括：语音服务开发者用户；
24.所述用户语音数据包括：用于检测服务功能有效性的语音数据。
25.可选的，所述用户包括：智能音箱服务平台的语音服务上线审核用户；
26.所述用户语音数据包括：用于检测语料冲突的语音数据，用于检测语音识别能力的语音数据。
27.可选的，还包括：
28.向客户端发送真机测试结果数据。
29.本技术还提供一种语音服务测试方法，包括：
30.采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；
31.向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；
32.展示服务端回送的语音服务处理结果。
33.可选的，所述展示服务端回送的语音服务处理结果，包括以下方式的至少一个：
34.播放通过语音服务确定的回复语音数据；
35.根据通过语音服务确定的音箱音量，调整音箱音量；
36.根据通过语音服务确定的由智能音箱控制的物联网设备的工作模式，调整所述物联网设备的工作模式。
37.可选的，还包括：
38.通过真机测试语音服务，确定所述待测试语音服务；
39.所述采集用户语音数据，包括：
40.播放所述待测试语音服务的测试语音数据；
41.采集播放的测试语音数据。
42.可选的，所述播放所述待测试语音服务的测试语音数据，包括：
43.确定所述待测试语音服务的各种操作的测试语音的播放时间间隔；
44.根据所述播放时间间隔，播放所述待测试语音服务的各种操作的测试语音数据。
45.可选的，还包括：
46.通过所述真机测试语音服务，暂停测试所述待测试语音服务；
47.记录暂停时刻的测试语音；
48.通过所述真机测试语音服务，根据暂停时刻的测试语音，继续测试所述待测试语音服务。
49.可选的，还包括：
50.通过所述真机测试语音服务，采集所述待测试语音服务的测试语音数据；
51.存储所述待测试语音服务的测试语音数据。
52.确定待测试语音服务的自动化真机测试时间；
53.根据测试时间，生成测试任务；
54.根据所述测试时间，执行测试任务。
55.可选的，还包括：
56.若待测试语音服务的自动化测试条件成立，则对待测试语音服务进行真机测试。
57.可选的，还包括：
58.确定实际测试响应信息；
59.若实际测试响应信息与预计的测试响应信息不同，则展示操作执行错误的提示信息。
60.可选的，还包括：
61.记录错误操作；
62.对错误操作进行自动测试。
63.本技术还提供一种语音服务测试方法，包括：
64.向服务端发送针对目标用户或目标智能音箱的待测试语音服务绑定请求，以便于服务端存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
65.可选的，还包括：
66.接收服务端发送的待测试语音服务的真机测试结果数据。
67.可选的，
68.所述真机测试结果数据包括：从测试语音发出到音箱反馈结果间的时长。
69.本技术还提供一种语音服务测试装置，包括：
70.待测试语音服务绑定及加载单元，用于确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；
71.待测试语音服务确定单元，用于根据智能音箱发送的针对用户语音数据的语音服务请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；
72.待测试语音服务执行单元，用于若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱，以使得智能音箱展示语音服务处理结果。
73.本技术还提供一种电子设备，包括：
74.处理器；以及
75.存储器，用于存储实现语音服务测试方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；根据智能音箱发送的针对用户语音数据的语音服务请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱，以使得智能音箱展示语音服务处理结果。
76.本技术还提供一种语音服务测试装置，包括：
77.语音采集单元，用于采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；
78.请求发送单元，用于向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；
79.结果展示单元，用于展示服务端回送的语音服务处理结果。
80.本技术还提供一种智能音箱，包括：
81.处理器；以及
82.存储器，用于存储实现语音服务测试方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；展示服务端回送的语音服务处理结果。
83.本技术还提供一种语音服务测试装置，包括：
84.请求发送单元，用于向服务端发送针对目标用户或目标智能音箱的待测试语音服务绑定请求，以便于服务端存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
85.本技术还提供一种电子设备，包括：
86.处理器；以及
87.存储器，用于存储实现语音服务测试方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：向服务端发送针对目标用户或目标智能音箱的待测试语音服务绑定请求，以便于服务端存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
88.本技术还提供一种语音服务测试用例生成方法，包括：
89.采集待测试语音服务的多种操作的测试语音数据；
90.确定各种操作测试语音的播放时间间隔和播放顺序；
91.根据所述时间间隔和播放顺序，生成待测试语音服务的测试用例。
92.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
93.本技术还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
94.与现有技术相比，本技术具有以下优点：
95.本技术实施例提供的语音服务测试系统，通过智能音箱采集用户语音数据，向服务端发送针对所述用户语音数据的语音服务请求；以及，展示服务端回送的语音服务处理结果；服务端确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；以及，根据所述请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱；这种处理方式，使得允许测试者从音箱端发起测试请求，复用正常请求的处理链路，即使用音箱设备对语音服务进行真机测试，模拟语音服务真实上线集成到智能语音音箱上的效果，避免了现有方案由于端上或者部份云端链路缺失，造成的测试结果不真实的问题，这样就可以快速发现语音服务存在的各种问题并加以修改；因此，可以有效提升测试准确度，以及提升测试效率，从而满足语音服务开发者的测试需求与智能音箱语音服务平台的语音服务审核人员的审核需求。
附图说明
96.图1本技术提供的一种语音服务测试系统的实施例的结构示意图；
97.图2本技术提供的一种语音服务测试系统的实施例的应用场景示意图；
98.图3本技术提供的一种语音服务测试系统的实施例的设备交互示意图；
99.图4本技术提供的一种语音服务测试系统的实施例的处理流程示意图；
100.图5本技术提供的一种语音服务测试系统的实施例的具体设备交互示意图。
具体实施方式
101.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
102.在本技术中，提供了语音服务测试系统、方法和装置，智能音箱，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。
103.第一实施例
104.请参考图1，其为本技术的语音服务测试系统的实施例的结构图。该系统包括：服务端1，智能音箱2。
105.所述服务端1，可以是部署在云端服务器上的服务端，也可以是专用于实现智能音箱语音服务的服务器，可部署在数据中心。服务器，可以是集群服务器，也可以是单台服务器。
106.所述智能音箱2，可以是家庭消费者用语音进行上网的一个工具，比如点播歌曲、上网购物，或是了解天气预报，它也可以对智能家居设备进行控制，比如打开窗帘、设置冰箱温度、提前让热水器升温等。
107.请参考图2，其为本技术的语音服务测试系统的场景示意图。服务端、智能音箱间可通过网络连接，如智能音箱可通过wi f i等方式联网，等等。音箱语音服务的开发者用户可先将其开发的待测试语音服务部署到服务端，服务端可确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集；然后，开发者用户可通过智能音箱对其待测试语音服务进行真机测试，具体而言可以是向音箱发出与待测试语音服务有关的语音指令，指令经音箱本地处理后传至网络，最终达到云端处理；服务端通过该服务真实上线投入使用时的处理链路处理该指令，并将处理结果返回至智能音箱，音箱将结果反馈给用户，反馈结果可包括音频播报、灯光效果、音量调整、通过本地通信协议触发家居i ot设备变化等一系列用户端的变化。采用这种处理方式，使得整个测试过程与正常已发布语音服务的使用过程与处理链路相同，尽可能模拟了待测试语音服务在真实链路下的表现，这样开发者用户能够感知到从发出语音指令，到音箱给出反馈的整个过程。开发者用户通过这种真机测试方式，可发现待测试语音服务的整个处理过程的各个环节可能存在的各种问题，然后可对服务程序加以修改。
108.请参考图3，其为本技术的智能音箱语音服务系统的实施例的设备交互示意图。在本实施例中，智能音箱采集用户语音数据，向服务端发送针对所述用户语音数据的语音服务请求；以及，展示服务端回送的语音服务处理结果；服务端确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；以及，根据所述请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱。
109.所述语音服务，又称为音箱技能，包括通过智能音箱向用户提供的语音服务。所述语音服务，包括但不限于：早上好，查天气，健康检测，购物，等等。
110.所述服务端记录了用户标识或智能音箱标识、与待测试语音服务间的对应关系集。表1示出了本实施例中服务端记录的对应关系集。
[0111][0112]
表1、对应关系集
[0113]
由表1可见，待测试的语音服务可以与具体用户绑定，也可以与具体音箱设备绑定。一个智能音箱可对应一个或多个待测试语音服务。
[0114]
所述服务端还要加载待测试语音服务和已发布语音服务。需要说明的是，现有技术下服务端只加载已发布语音服务，所述决策模型只能决策出与所述用户语音数据对应的已发布语音服务，而无法决策出待测试语音服务。而本技术实施例提供的所述系统，不仅通过服务端加载已发布语音服务，还要加载待测试语音服务。通过加载待测试语音服务和已发布语音服务，使得待测试语音服务和已发布语音服务均成为对话理解和语音服务决策模型的语音服务决策对象；通过所述决策模型，根据与所述用户语音数据对应的文本序列，可确定与所述用户语音数据对应的待测试语音服务或已发布语音服务。采用这种处理方式，使得允许测试者从音箱端发起测试请求，复用针对待测试语音服务的正常请求的处理链路，即使用音箱设备对语音服务进行真机测试，模拟语音服务真实上线集成到智能语音音箱上的效果。由于对话理解和语音服务决策模型属于较为成熟的现有技术，因此此处不再赘述。
[0115]
所述请求，至少包括用户语音数据，此外还可包括用户标识或音箱设备标识。所述服务端根据所述请求携带的用户标识信息或智能音箱标识信息，从表1中即可查询得到与发送所述请求的智能音箱对应的待测试语音服务信息。
[0116]
此外，服务端还可记录已发布语音服务信息。表2示出了本实施例中服务端记录的已发布语音服务信息。
[0117]
语音服务标识语音服务名称1早上好2健康检测3查天气4购物
ꢀ…
[0118]
表2、已发布的语音服务信息表
[0119]
由表2可见，已发布的语音服务并不与具体的用户或音箱设备绑定，可以为任意用户使用。
[0120]
在一个示例中，所述用户包括：语音服务开发者用户，即测试人员为语音服务开发
者用户，所述系统可满足技能开发者的技能自测需求。在这种情况下，所述用户语音数据包括但不限于：用于检测服务功能有效性的语音数据。例如，开发者用户可以准备一些用于测试服务能否按预定的方式正确地运行的测试用例。
[0121]
在另一个示例中，所述用户包括：智能音箱服务平台的语音服务上线审核用户，平台审核人员负责测试审核要上线发布的语音服务是否符合平台规范。通过现有平台提供的审核方式检测出的不符合平台规范的点不够全面，而通过本技术实施例提供的所述系统可满足平台技能审核人员的技能审核需求。所述用户语音数据包括但不限于：用于检测语料冲突的语音数据，用于检测语音识别能力的语音数据。在这种情况下，测试人员为语音服务在上线发布到智能音箱语音服务平台之前的负责审核语音服务的平台审核人员，平台审核人员也可以利用所述系统，通过真机测试的方式测试审核待上线语音服务是否符合平台规范。
[0122]
例如，平台审核人员向音箱发出一些与其它已发布语音服务的启动词相近的语音内容，检测待上线语音服务的文本语料是否会与其它已发布语音服务的启动词冲突，是否会影响其它已发布语音服务的正常启动。再例如，平台审核人员向音箱发出一些待上线语音服务特有的语音内容，检测平台的语音识别模型(asr)是否能够正确识别这些语音内容。
[0123]
具体实施时，所述服务端还可用于将与所述智能音箱对应的待测试语音服务和已发布语音服务，作为对话理解和语音服务决策模型的语音服务决策对象；通过语音识别模型，确定与所述用户语音数据对应的文本序列；通过所述决策模型，根据所述文本序列，确定与所述用户语音数据对应的待测试语音服务或已发布语音服务。
[0124]
语音识别，就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术，主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。本技术实施例提供的系统，将实现语音识别技术的模块称为语音识别模型。由于语音识别模型属于较为成熟的现有技术，因此此处不再赘述。
[0125]
所述待测试语音服务，可以是新发布的语音服务，也可以是已发布语音服务的更新版本。所述系统，既支持新语音服务上线被集成至正式生效语音服务范围前的真机测试，也支持已生效语音服务更新迭代过程中的真机测试。
[0126]
在一个示例中，所述待测试语音服务为已发布语音服务的更新版本；相应的，若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的已发布语音服务的更新版本，则通过所述更新版本的待测试语音服务处理所述用户语音数据；若与所述智能音箱对应的待测试语音服务不包括与所述用户语音数据对应的已发布语音服务的更新版本，则通过所述已发布语音服务处理所述用户语音数据。采用这种处理方式，使得测试人员可测试新版本的功能，通过已发布的版本为普通用户提供语音服务。
[0127]
具体实施时，所述系统还可包括用户身份信息表，如表3所示。
[0128]
用户标识用户身份用户1语音服务开发人员用户2语音服务平台审核人员用户3语音服务开发人员
ꢀ…
[0129]
表3、用户身份信息表
[0130]
通过表3所示的用户身份信息，可确定向不同身份用户显示不同指标的真机测试结果数据。例如，向开发人员展示从测试语音发出到音箱反馈结果间的时长，向平台审核人员展示待测试语音服务违反了哪些平台规范。
[0131]
在客户端接收到服务端回送的语音服务处理结果后，可通过以下方式的至少一个展示处理结果：播放通过语音服务确定的回复语音数据；根据通过语音服务确定的音箱音量，调整音箱音量；根据通过语音服务确定的由智能音箱控制的物联网设备的工作模式，调整所述物联网设备的工作模式，此外也可以通过其它方式展示处理结果，如灯光效果等等。
[0132]
在本实施例中，真机测试在云端(服务端)的处理流程如图4所示，包括如下步骤：
[0133]
s1、到达云端的用户音频数据，经过asr处理，得到识别的文本结果，以及其他音频特征。
[0134]
s2、根据当前请求携带的用户id/设备id，查询拉取该用户/该设备设定的待真机调试的语音服务列表。关于待真机测试语音服务与请求设备的绑定策略可以有以下两种：
[0135]
1)语音服务的开发者作为测试人员，测试人员通过语音服务建设平台开启自己开发语音服务的真机测试功能，待测试的语音服务默认与测试者账号绑定的所有音箱设备绑定。
[0136]
2)平台审核人员作为测试人员，所有待审核技能与该测试人员账号绑定的指定音箱设备绑定。
[0137]
测试人员可以通过平台页面，将指定的设备与指定的待测试技能绑定，即可用于技能开发者自测，也可用于平台方技能审核人员。
[0138]
s3、拉取当前音箱已集成的技能列表。
[0139]
s4、将s1、s2、s3得到的结果作为对话理解与技能决策模块的输入，输出对话理解结果与命中技能：
[0140]
1)当真机测试技能列表为空的时候，则当前请求与正常请求无异。
[0141]
2)如果真机测试列表不为空，将真机测试列表与正常技能列表合并，做为本次请求的生效技能范围，对话理解与技能决策在该技能范围内执行。
[0142]
3)如果待测试技能为已发布并集成至音箱的技能，则测试目地是在测试该技能功能更新迭代后的效果。对话理解与技能决策模块，会加载该技能的线上已生效版与当前迭代中待测试的版本。当正常请求到达时，线上已生效版本生效，当真机测试请求到达，且测试列表中包含该技能时，迭代中的版本生效。
[0143]
s5、根据s4中命中技能结果，路由到相应的技能执行。
[0144]
s6、技能根据一系列上下文，与s4中产出的理解结果，结果相应的执行结果，并最终返回给端上音箱设备。
[0145]
采用如图4所示的处理方式，使得模拟了待测试语音服务的真实执行链路，测试效果可包括：1)进入技能之前的前置链路效果，如真实音箱收音过程中得到的音频数据受音箱腔体情况以及各种收音设备影响的效果，再如用户语音通过asr转换为文本的效果；2)用户对音箱发出指令，到音箱给到反馈的时间耗时体感；3)技能执行反馈结果，包括音箱播报、灯效等效果。
[0146]
如图5所示，在一个示例中，所述系统还可包括客户端，音箱语音服务的开发者用户可通过客户端设置与其用户账号或音箱设备绑定的待测试语音服务；相应的，服务端存
储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。例如，开发者用户将其用户账号与待测试语音服务绑定，这样就可以通过与该用户绑定的所有智能音箱对待测试语音服务进行真机测试处理。
[0147]
所述客户端，包括但不限于移动通讯设备，即：通常所说的手机或者智能手机，还包括个人电脑、pad、ipad等终端设备。
[0148]
此外，服务端还可用于向客户端发送真机测试结果数据，如从测试语音发出到音箱反馈结果间的时长等；相应的，开发者用户还可通过客户端查看真机测试结果数据。
[0149]
在一个示例中，智能音箱还可用于通过真机测试语音服务，确定所述待测试语音服务；并可具体用于播放所述待测试语音服务的测试语音数据；采集播放的测试语音数据。
[0150]
所述智能音箱，可装载真机测试语音服务，该服务同其它语音服务一样，也是音箱的一个技能。用户可通过真机测试语音服务管理多个其有权测试的待测试语音服务，如启动对待测试语音服务的自动化真机测试、采集并存储待测试语音服务的测试语音数据、管理真机测试用例及其执行方式等等。
[0151]
例如，用户对音箱说：“天猫精灵，我要测试音箱技能”，天猫精灵响应该指令，自动进入真机测试语音服务，并可通过显示屏显示该用户有权测试的多个待测试语音服务；用户可通过带屏音箱从多个待测试语音服务中选取目标语音服务，然后对音箱下达语音指令：“开始真机测试”，音箱可根据被测试服务的测试用例，自动播放针对各类操作的测试语音数据，同时通过麦克风采集音箱播放的测试语音数据。
[0152]
一个语音服务的测试用例可包括：多种操作的测试语音数据，如待测试语音服务为“点歌”，用户指令可包括：1)点歌操作，对应的测试语音可以是“我想听王菲的传奇”；2)换歌手操作，对应的测试语音可以是“换个歌手”；3)点排行榜操作，对应的测试语音可以是“我想听排行榜上的歌”，等等。
[0153]
具体实施时，智能音箱可具体用于确定所述待测试语音服务的各种操作的测试语音的播放时间间隔；根据所述播放时间间隔，播放所述待测试语音服务的测试用例包括的各种指令的测试语音数据。
[0154]
具体实施时，用户可通过音箱以语音方式设置各种操作的测试语音数据的播放时间间隔，以及各种操作的测试语音数据的播放顺序等等，如设置“随机播放各种操作的测试语音，每种操作的测试语音之间固定相隔30秒进行播放”，也可以是“按照各种操作在测试用例中的顺序，播放各种操作的测试语音”。
[0155]
具体实施时，也可以是先确定各种操作的响应时间，将该响应时间再加上一个固定时长(如10秒)，按照这样的时间间隔播放各种操作的测试语音数据；这种处理方式，可避免上一个指令还没有响应，就开始播放下一个指令的测试语音，从而无法感知到上一个指令的真机测试效果；因此，可以有效提升测试有效性。
[0156]
本技术实施例提供的系统，智能音箱通过真机测试语音服务，确定所述待测试语音服务，自动播放所述待测试语音服务的测试语音数据，并采集播放的测试语音数据，实现放录音自动化测试；这种处理方式，使得可自动播放测试语音，测试语音可反复使用，测试用户无需自己发出测试语音；因此，可以有效提升测试效率，并提升测试精度。
[0157]
在一个示例中，智能音箱还可用于通过所述真机测试语音服务，暂停测试所述待测试语音服务，记录暂停时刻的测试语音；并通过所述真机测试语音服务，根据暂停时刻的
测试语音，继续测试所述待测试语音服务。
[0158]
例如，用户对音箱说：“天猫精灵，暂停测试这个语音服务”，天猫精灵响应该指令，自动进入等待继续测试的状态，并记录在暂停时刻的测试用例执行点，后续收到用户发起的继续测试语音后，可从该执行点继续播放测试用例中的后续测试语音。采用这种处理方式，使得可通过真机测试语音服务随时打断自动化的真机测试，后续还可继续执行真机测试；因此，可以有效提升自动化真机测试的灵活性，从而提升用户体验。
[0159]
在一个示例中，智能音箱还可用于通过所述真机测试语音服务，采集所述待测试语音服务的测试语音数据；存储所述待测试语音服务的测试语音数据。
[0160]
例如，用户对音箱说：“天猫精灵，我要准备测试某个语音服务”，天猫精灵响应该指令，自动进入真机测试语音服务，并可通过显示屏显示该用户有权测试的多个待测试语音服务；用户可通过带屏音箱从多个待测试语音服务中选取目标语音服务，然后对音箱下达语音指令：“开始采集测试语音”，音箱通过语音识别、语义理解等处理识别该指令，并响应该指令打开麦克风，并播放提示音“请开始录音”，通过麦克风采集用户发起的测试语音，并存储该测试语音数据，以便于后续自动播放用。
[0161]
具体实施时，智能音箱还可确定待测试语音服务的自动化真机测试时间，根据测试时间，生成测试任务；根据所述测试时间，执行测试任务。
[0162]
例如，某天气温很高，测试人员预计20点至22点大量用户会通过智能音箱打开空调，调整空调工作模式，于是该测试人员语音下达指令：20：30测试空调控制服务，智能音箱识别出该指令，生成相应的测试任务，到达20：30时智能音箱自动执行该测试任务。
[0163]
具体实施时，智能音箱还可用于若待测试语音服务的自动化测试条件成立，则执行待测试语音服务的测试用例，开启自动化真机测试。例如，可通过温度传感器，确定温度；若温度大于温度阈值，则测试条件成立，执行待测试语音服务的测试用例，开启自动化真机测试。
[0164]
具体实施时，智能音箱还可用于确定实际测试响应信息，若实际测试响应信息与预计的测试响应信息不同，则展示操作执行错误的提示信息。例如，测试语音为打开“卧室灯”，实际打开的却是“客厅灯”，则自动生成该操作执行错误的提示信息。采用这种处理方式，可以自动确定操作是否正确，并给出不正确的提示信息；因此，可以有效提升用户体验。
[0165]
此外，智能音箱还可以记录不正确的操作，后续可专门对不正确的操作进行自动测试。采用这种处理方式，可以有效提升测试效率。
[0166]
具体实施时，智能音箱可通过摄像头、温度传感器等等装置，采集环境变化信息，根据环境变化信息，确定测试响应信息。例如，测试语音为“将空调调到22度”，通过温度传感器采集到执行该操作后室内温度下降到22度，则实际测试响应信息为22度，预计响应信息也是22度，表示操作正确。
[0167]
从上述实施例可见，本技术实施例提供的语音服务测试系统，通过智能音箱采集用户语音数据，向服务端发送针对所述用户语音数据的语音服务请求；以及，展示服务端回送的语音服务处理结果；服务端确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；以及，根据所述请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试
语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱；这种处理方式，使得允许测试者从音箱端发起测试请求，复用正常请求的处理链路，即使用音箱设备对语音服务进行真机测试，模拟语音服务真实上线集成到智能语音音箱上的效果，避免了现有方案由于端上或者部份云端链路缺失，造成的测试结果不真实的问题，这样就可以快速发现语音服务存在的各种问题并加以修改；因此，可以有效提升测试准确度，以及提升测试效率，从而满足语音服务开发者的测试需求与智能音箱语音服务平台的语音服务审核人员的审核需求。
[0168]
第二实施例
[0169]
与上述的语音服务测试系统相对应，本技术还提供一种语音服务测试方法，该方法的执行主体包括但不限于智能音箱。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。
[0170]
在本实施例中，所述方法包括如下步骤：
[0171]
步骤1：采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；
[0172]
步骤2：向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；
[0173]
步骤3：展示服务端回送的语音服务处理结果。
[0174]
具体实施时，步骤3可采用以下方式的至少一个：1)播放通过语音服务确定的回复语音数据；2)根据通过语音服务确定的音箱音量，调整音箱音量；3)根据通过语音服务确定的由智能音箱控制的物联网设备的工作模式，调整所述物联网设备的工作模式。
[0175]
在一个示例中，所述方法还可包括如下步骤：通过真机测试语音服务，确定所述待测试语音服务；所述采集用户语音数据，可采用如下方式实现：播放所述待测试语音服务的测试语音数据；采集播放的测试语音数据。
[0176]
在一个示例中，所述播放所述待测试语音服务的测试语音数据，可包括如下子步骤：确定所述待测试语音服务的各种指令测试语音的播放时间间隔；根据所述播放时间间隔，播放所述待测试语音服务的各种指令的测试语音数据。
[0177]
在一个示例中，所述方法还可包括如下步骤：通过所述真机测试语音服务，暂停测试所述待测试语音服务；记录暂停时刻的测试语音；通过所述真机测试语音服务，根据暂停时刻的测试语音，继续测试所述待测试语音服务。
[0178]
在一个示例中，所述方法还可包括如下步骤：通过所述真机测试语音服务，采集所述待测试语音服务的测试语音数据；存储所述待测试语音服务的测试语音数据。
[0179]
在一个示例中，所述方法还可包括如下步骤：确定待测试语音服务的自动化真机测试时间；根据测试时间，生成测试任务；根据所述测试时间，执行测试任务。
[0180]
在一个示例中，所述方法还可包括如下步骤：若待测试语音服务的自动化测试条件成立，则对待测试语音服务进行真机测试。
[0181]
在一个示例中，所述方法还可包括如下步骤：确定实际测试响应信息；若实际测试响应信息与预计的测试响应信息不同，则展示操作执行错误的提示信息。
[0182]
在一个示例中，所述方法还可包括如下步骤：记录错误操作；对错误操作进行自动
测试。
[0183]
第三实施例
[0184]
在上述的实施例中，提供了一种语音服务测试方法，与之相对应的，本技术还提供一种语音服务测试装置。该装置是与上述方法的实施例相对应。
[0185]
本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本技术提供的一种语音服务测试装置包括：
[0186]
语音采集单元，用于采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；
[0187]
请求发送单元，用于向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；
[0188]
结果展示单元，用于展示服务端回送的语音服务处理结果。
[0189]
第四实施例
[0190]
本技术还提供一种智能音箱。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
[0191]
本实施例的一种智能音箱，该智能音箱包括：处理器和存储器；存储器，用于存储实现语音服务测试方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；展示服务端回送的语音服务处理结果。
[0192]
第五实施例
[0193]
与上述的语音服务测试系统相对应，本技术还提供一种语音服务测试方法，该方法的执行主体包括但不限于服务端，也可以是能够实现所述方法的任意设备。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。
[0194]
在本实施例中，所述方法包括如下步骤：
[0195]
步骤1：确定用户标识或智能音箱标识、与待测试语音服务间的对应关系集，加载待测试语音服务和已发布语音服务；
[0196]
步骤2：根据智能音箱发送的针对用户语音数据的语音服务请求携带的用户标识信息或智能音箱标识信息，获取与所述智能音箱对应的待测试语音服务信息；
[0197]
步骤3：若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的语音服务，则通过所述待测试语音服务处理所述用户语音数据，将语音服务处理结果发送至智能音箱，以使得智能音箱展示语音服务处理结果。
[0198]
在一个示例中，所述方法还可包括如下步骤：接收客户端发送的针对目标用户或目标智能音箱的待测试语音服务绑定请求；存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
[0199]
在一个示例中，所述待测试语音服务包括：已发布语音服务的更新版本；若与所述智能音箱对应的待测试语音服务包括与所述用户语音数据对应的已发布语音服务的更新
版本，则通过所述更新版本的待测试语音服务处理所述用户语音数据；若与所述智能音箱对应的待测试语音服务不包括与所述用户语音数据对应的已发布语音服务的更新版本，则通过所述已发布语音服务处理所述用户语音数据。
[0200]
在一个示例中，所述方法还可包括如下步骤：将与所述智能音箱对应的待测试语音服务和已发布语音服务，作为对话理解和语音服务决策模型的语音服务决策对象；通过语音识别模型，确定与所述用户语音数据对应的文本序列；通过所述决策模型，根据所述文本序列，确定与所述用户语音数据对应的待测试语音服务或已发布语音服务。
[0201]
在一个示例中，所述用户包括：语音服务开发者用户；所述用户语音数据包括：用于检测服务功能有效性的语音数据。
[0202]
在一个示例中，所述用户包括：智能音箱服务平台的语音服务上线审核用户；所述用户语音数据包括：用于检测语料冲突的语音数据，用于检测语音识别能力的语音数据。
[0203]
在一个示例中，所述方法还可包括如下步骤：向客户端发送真机测试结果数据。
[0204]
第六实施例
[0205]
在上述的实施例中，提供了一种语音服务测试方法，与之相对应的，本技术还提供一种语音服务测试装置。该装置是与上述方法的实施例相对应。
[0206]
本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。本技术提供的一种语音服务测试装置包括：
[0207]
语音采集单元，用于采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；
[0208]
请求发送单元，用于向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；
[0209]
结果展示单元，用于展示服务端回送的语音服务处理结果。
[0210]
第七实施例
[0211]
本技术还提供一种电子设备实施例。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
[0212]
本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现语音服务测试方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集用户语音数据；所述用户语音数据包括针对待测试语音服务的测试语音数据；向服务端发送针对所述用户语音数据的语音服务请求，以使得服务端根据所述请求携带的用户标识信息或智能音箱标识信息，确定所述待测试语音服务，通过所述待测试语音服务处理所述测试语音数据；展示服务端回送的语音服务处理结果。
[0213]
第八实施例
[0214]
与上述的语音服务测试系统相对应，本技术还提供一种语音服务测试方法，该方法的执行主体包括但不限于客户端。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。
[0215]
本技术提供的语音服务测试方法，可包括如下步骤：向服务端发送针对目标用户或目标智能音箱的待测试语音服务绑定请求，以便于服务端存储目标用户标识、与目标用
户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
[0216]
在一个示例中，所述方法还可包括如下步骤：接收服务端发送的待测试语音服务的真机测试结果数据。
[0217]
所述真机测试结果数据，包括但不限于：从测试语音发出到音箱反馈结果间的时长。
[0218]
第九实施例
[0219]
在上述的实施例中，提供了一种语音服务测试方法，与之相对应的，本技术还提供一种语音服务测试装置。该装置是与上述方法的实施例相对应。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。
[0220]
本技术提供的一种语音服务测试装置包括：
[0221]
请求发送单元，用于向服务端发送针对目标用户或目标智能音箱的待测试语音服务绑定请求，以便于服务端存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
[0222]
第十实施例
[0223]
本技术还提供一种电子设备。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
[0224]
本实施例的一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储实现语音服务测试方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：向服务端发送针对目标用户或目标智能音箱的待测试语音服务绑定请求，以便于服务端存储目标用户标识、与目标用户对应的智能音箱标识、或目标智能音箱标识、与待测试语音服务间的对应关系。
[0225]
第十一实施例
[0226]
与上述的语音服务测试系统相对应，本技术还提供一种语音服务测试用例生成方法，该方法的执行主体包括但不限于智能音箱。本实施例与第一实施例内容相同的部分不再赘述，请参见实施例一中的相应部分。
[0227]
在本实施例中，所述方法包括如下步骤：
[0228]
步骤1：采集待测试语音服务的多种操作的测试语音数据；
[0229]
步骤2：确定各种操作测试语音的播放时间间隔和播放顺序；
[0230]
步骤3：根据所述时间间隔和播放顺序，生成待测试语音服务的测试用例。
[0231]
例如，用户对音箱说：“天猫精灵，我要准备某个语音服务的测试用例”，天猫精灵响应该指令，自动进入真机测试语音服务，并可通过显示屏显示该用户有权测试的多个待测试语音服务；用户可通过带屏音箱从多个待测试语音服务中选取目标语音服务，然后对音箱下达语音指令：“开始采集测试语音”，音箱通过语音识别、语义理解等处理识别该指令，并响应该指令打开麦克风，并播放提示音“请开始录音”，通过麦克风采集用户发起的测试语音，并存储该测试语音数据。然后，用户可对音箱下达语音指令：“各种操作的语音播放时间固定间隔30秒，随机播放各种操作的测试语音”，音箱通过语音识别、语义理解等处理识别该指令，并响应该指令，根据所述时间间隔和播放顺序，自动生成待测试语音服务的测试用例，并存储该测试用例，以便于真机测试时使用。
[0232]
再例如，用户对音箱说：“天猫精灵，我要准备某个语音服务的测试用例”，天猫精灵响应该指令，自动进入真机测试语音服务，并可通过显示屏显示该用户有权测试的多个待测试语音服务；用户可通过带屏音箱从多个待测试语音服务中选取目标语音服务，然后对音箱下达语音指令：“开始采集测试语音”，音箱通过语音识别、语义理解等处理识别该指令，并响应该指令打开麦克风，并播放提示音“请开始录音”，通过麦克风采集用户发起的测试语音，并存储该测试语音数据。然后，用户可对音箱下达语音指令：“各种操作的语音播放时间在其响应时间基础上再加10秒，按照语音采集顺序播放各种操作的测试语音”，音箱通过语音识别、语义理解等处理识别该指令，并响应该指令，根据所述时间间隔和播放顺序，自动生成待测试语音服务的测试用例，并存储该测试用例，以便于真机测试时使用。
[0233]
从上述实施例可见，本技术实施例提供的语音服务测试用例生成方法，通过采集待测试语音服务的多种操作的测试语音数据；确定各种操作测试语音的播放时间间隔和播放顺序；根据所述时间间隔和播放顺序，生成待测试语音服务的测试用例；这种处理方式，使得可通过智能音箱生成测试用例；因此，可以有效提升测试用例的生成效率。
[0234]
本技术虽然以较佳实施例公开如上，但其并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此本技术的保护范围应当以本技术权利要求所界定的范围为准。
[0235]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0236]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0237]
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0238]
2、本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。