物联网性能测试系统、方法和相应设备与流程

1.本公开涉及物联网应用领域，尤其涉及一种物联网性能测试系统、方法和相应设备。


背景技术：

2.随着语音交互技术和无线网络的发展，诸如智能音箱的智能语音设备得到普及。作为用户消费级智能产品，用户体验至关重要。其中，响应时间是智能语音设备的关键性能指标，也是影响用户体验的关键因素，因此需要对响应时间进行量化分析。
3.传统响应时间测试通过录制音箱使用过程并人工分析音频波形实现。不仅耗费大量人力物力，还容易引入各类操作误差。
4.为此，需要一种能够自动化测试物联网性能，尤其是语音交互性能的方案。


技术实现要素：

5.本公开要解决的一个技术问题是提供一种物联网性能测试方案。该方案以声音为媒介，实现自动化响应时间测试，通过将测试过程、数据分析自动化，且不依赖于具体智能硬件，能够适用于各类涉及智能语音交互产品的物联网性能测试，例如，响应时间测试。
6.根据本公开的第一个方面，提供了一种物联网性能测试系统，包括：控制设备，用于播放语音指令并开启录音；物联网设备，用于基于所述语音指令进行状态变换；发声单元，用于用发声表征所述状态变换，其中，所述控制设备进一步用于：分析录入了所述发声的音频文件，并确定从所述语音指令的发出到所述状态变换的响应时间。
7.根据本公开的第二个方面，提供了一种物联网性能测试方法，包括：播放语音指令并开启录音；物联网设备基于所述语音指令进行状态变换；获取状态变换信号并用发声表征所述状态变换；分析录入了所述发声的音频文件；以及确定从所述语音指令的发出到所述状态变换的响应时间。
8.根据本公开的第三个方面，提供了一种性能测试控制设备，包括：播放模块，用于播放语音指令；录音模块，用于开启录音，并记录表征物联网设备状态变换的发声；存储模块，用于存储所述语音指令和录入的音频文件；以及处理模块，用于控制所述扬声器、所述麦克风、所述存储模块的操作，分析录入了所述发声的音频文件，并确定从所述语音指令的发出到所述状态变换的响应时间。
9.根据本公开的第四个方面，提供了一种性能测试控制装置，包括：设置模块，用于设置待播放的语音指令列表；音频播放控制模块，用于基于设备，播放语音指令；录音模块，用于与所述语音指令的播放相关联的进行录音并保存录制的音频文件，所述录音具有能够录入表征物联网设备基于所述语音指令进行状态变换的发声的长度；分析模块，用于分析录入了所述发声的音频文件，并确定从所述语音指令的发出到所述状态变换的响应时间；展示模块，用于展示所述响应时间。
10.根据本公开的第五个方面，提供了一种语音交互设备，能够实现为如上第三方面
所述的设备，或是实现第四方面所述的装置功能。
11.根据本公开的第六个方面，提供了一种待测物联网系统，包括：语音交互设备，用于接收上位机的语音指令，并基于所述语音指令，生成针对联网设备的设备操作指令；以及联网设备，用于接收所述设备操作指令，并基于所述设备操作指令执行相应的设备操作；传感设备，用于感测所述设备操作；转换设备，用于接收所述传感设备的感测信号；以及发声设备，用于接收所述转换设备基于所述感测信号发出的转换信号，并发出声音。
12.根据本公开的第七个方面，提供了一种物联网性能测试平台，平台包括服务器用于下发测试指令，以控制如第三至第六所述设备、装置或是系统的测试操作。
13.本发明设计了一套软硬件一体化的自动化测试方案，将在通过智能语音设备控制物联网设备时，从发出开关控制指令结束到物联网设备进行相应动作的体感延迟时间，用自动化的测量方法，以例如毫秒级的精度量化出来。通过此方案，可精确度量出智能语音识别在iot控制领域的性能指标。
附图说明
14.通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
15.图1示出了根据本发明一个实施例的物联网性能测试系统的组成示意图。
16.图2示出了根据本发明另一个实施例的物联网性能测试系统的组成示意图。
17.图3示出了根据本发明的物联网性能测试系统的实际测试例。
18.图4示出了图3测试例的系统工作流程例。
19.图5示出了图3测试例的硬件延迟分析流程例。
20.图6示出了根据本发明一个实施例的物联网性能测量方法的示意性流程图。
21.图7示出了根据本发明一个实施例的性能测试控制设备的组成示意图。
22.图8示出了根据本发明的一种性能测试控制装置所包含的功能模块的例子。
23.图9示出了根据本发明一个实施例可用于实现上述测试方法的计算设备的结构示意图。
具体实施方式
24.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
25.随着语音交互技术和无线网络的发展，诸如智能音箱的智能语音设备得到普及。智能音箱是一种音箱升级的产物，可以作为家庭消费者用语音获取云端服务的一个工具，比如点播歌曲、上网购物，或是了解天气预报，它也可以用作家庭智能中心，用于对智能家居设备进行控制，比如打开窗帘、设置冰箱温度、提前让热水器升温等。作为用户消费级智能产品，用户体验至关重要。其中，响应时间是智能语音设备的关键性能指标，也是影响用户体验的关键因素，因此需要对响应时间进行量化分析。传统响应时间测试通过录制音箱
使用过程并人工分析音频波形实现。不仅耗费大量人力物力，还容易引入各类操作误差。
26.为此，本发明提出了一种能够自动化测试物联网性能，尤其是语音交互性能的方案。该方案以声音为媒介，实现自动化响应时间测试，通过将测试过程、数据分析自动化，且不依赖于具体智能硬件，能够适用于各类涉及智能语音交互产品的物联网性能测试，例如，响应时间测试。
27.图1示出了根据本发明一个实施例的物联网性能测试系统的组成示意图。
28.如图1所示，物联网性能测量系统可以包括控制设备110、物联网设备120以及发声单元130。
29.控制设备110可以用于播放语音指令并开启录音。物联网设备120则可用于基于所述语音指令进行状态变换。发声单元130则用于用发声表征所述状态变换。控制设备110随后可以分析录入了所述发声的音频文件，并确定从所述语音指令的发出到所述状态变换的响应时间。具体如图1所示，控制设备110的播放模块可以例如在其处理模块的控制下播放语音指令，物联网设备120可以直接或间接(例如，如下经由语音交互设备)地基于该语音指令而发生状态变换(例如，开启和关闭以及其他的状态调整)，上述状态变换的信号可以引起发声单元130(可以与物联网设备120分立，或是作为其一部分)进行发声，即，发出反馈声音。上述语音指令和反馈声音都可以由进行持续录制的录音模块录入同一音频文件。随后可以通过分析该音频文件，确定物联网设备基于该语音指令的响应时间。如图所示，虚线箭头指代“声音”的传递，实线箭头则指代状态变换信号的传递。
30.由此，通过用反馈声音来表征物联网设备基于语音指令的状态变换，并将语音指令(或其一部分)和反馈声音一并录入一个音频文件，就可以通过分析音频文件来确定从所述语音指令的发出到所述状态变换的响应时间。
31.在一个最为基本的实现中，物联网设备120可以包括能够直接接收语音指令并进行反馈的语音交互设备。该语音交互设备可以进行语音反馈作为所述状态变换，并且所述发声单元130可以是所述语音交互设备自带的喇叭或是外接的扬声器等。
32.在此，响应时间可以指代从用户说话的结束时间点到表征物联网设备状态变换的反馈声音的开始时间点的这两个时间点之间的间隔。在物联网设备120直接实现为诸如智能音箱的语音交互设备，并且智能音箱的语音反馈直接作为发声单元的发声(即，反馈声音)的情况下，可以将用户说话的结束时间点到智能音箱发声开始的时间点之间的间隔看作是响应时间。
33.例如：用户可以说：“****(唤醒词)，今天的天气怎么样？”，结束的时间戳是x(例如，精确到毫秒)；语音交互设备(例如，智能音箱)回答：“杭州今天的天气是午后有雨”，开始的时间戳是y(例如，同样精确到毫秒)；则响应时间t＝y-x。控制设备110可以通过模拟上述情形，例如，使用播放模块播放语音指令，并接收智能音箱的反馈语音，通过对录入上述语音指令和反馈语音的音频文件进行分析，自动求取所述响应时间。
34.虽然语音交互设备的状态变换通常可以直接表征为语音反馈，或是在其他状态发生变换的同时进行语音反馈，但也存在语音交互设备基于语音指令的状态变换不是语音反馈或是不引发语音提示的情况。此时，则可利用外部的传感设备来进行状态变换感测，并由分立的发声单元130例如基于感测信号进行发声。例如，用户可以说：“****(唤醒词)，点亮屏幕”。此时，带屏幕的智能音箱可以点亮屏幕。在上述点亮屏幕不引起语音提示，例如，“屏
幕已点亮”时，则可通过例如光敏传感器来感测屏幕点亮，并将感测到屏幕点亮的感测信号转换为发声单元的触发电信号，来触发发声。
35.虽然如上所述，本发明的物联网性能测试系统能够直接测试具有语音交互功能的物联网设备基于语音指令的响应时间，但在更多情况下，物联网设备是基于语音交互设备的控制来进行操作的。
36.为此，在一个实施例中，本发明的物联网性能测试系统还包括语音交互设备，用于基于所述控制设备播放的语音指令，向所述物联网设备发送用于进行状态变换的指令。图2示出了根据本发明另一个实施例的物联网性能测试系统的组成示意图。
37.如图2所示，物联网性能测量系统除了包括控制设备210、物联网设备220以及发声单元230之外，还可以包括语音交互设备240。在图2所示的例子中，物联网设备不直接接收控制设备播放的语音指令，而是由语音交互设备获取上述语音指令，进行语义识别后，向该语音指令所指向的物联网设备发送无线控制指令，如图2中的点划线所示。在此，语音交互设备可以是例如家庭、会议室等场所的物联网中心节点，例如，智能音箱。物联网设备则是能够基于例如蓝牙mesh、wifi或红外等协议与智能音箱通信的智能设备，例如，智能灯泡。例如，语音指令可以是“打开客厅的灯”，此时语音设备可以接收上述指令，进行语义分析，并向安装在客厅的智能灯泡发出开启指令。智能灯泡接收到指令后随即点亮，上述点亮可以基于一定的光电转换机制触发发声单元的发声。为此，该系统还可以包括：传感单元，用于感测所述物联网设备的状态变换；以及转换设备，用于基于所述传感单元的感测信号，触发所述发声单元发出表征所述状态变换的声音。
38.传感单元可以是基于各种感测手段来感测物联网设备的状态变换的设备，例如传感单元可以包括如下所述用于感测所述物联网设备的光学状态变换的光敏传感单元。在其他实施例中，传感单元还可以包括诸如用于感测所述物联网设备的运动状态变换的运动传感单元，以及用于感测所述物联网设备的温度状态变换的温度传感单元等等。
39.另外，虽然未在图中示出，但在某些实施例中，发声单元也可以包括在所述物联网设备内，并会在状态变换的同时或是相应时延后用发声表征所述状态变换。此时，由于触发状态变换的信号同时可以导致发声单元的发声，因此此时无需额外的传感和转换设备。例如，智能空调在被开启的同时会发出“滴”的声音，因此可以直接使用该声音作为表征状态变换(即，空调开启)的声音。换句话说，在不同的实施例中，发声单元可以是伴随所述状态变换自行发声的发声单元，例如物联网设备内的发声装置，也可以是经由感测所述状态变换触发发声的发声单元，例如如下所述的外部独立发声设备，例如蜂鸣器。
40.为了对物联网设备进行稳妥的测试，控制设备可以批量载入语音指令，并重复对一个或多个所述物联网设备的响应时间测试。具体地，可以对同一个物联网设备进行相同命令的多次测试，不同命令的多次测试，相同命令的不同表述或是口音的测试等待，以观察系统稳定性和灵活性。还可以对不同的物联网设备进行各自的多次测试。进一步地，还可以分别测试作为物联网设备的语音交互设备的响应时间，以及语音交互设备作为控制设备时的其他物联网设备的响应时间，由此方便后续的分析和速度瓶颈定位。
41.图3示出了根据本发明的物联网性能测试系统的实际测试例。在此，控制设备可以实现为上位机测试系统310。在此，“上位机”是指可以直接发出操控命令的计算机，一般由图中所示的pc实现，其屏幕上显示各种信号变化。上位机测试系统310可以包括用作控制设
备的pc，pc包括上位机界面显示系统311，其结合处理器实现针对播放、录音和分析的控制，播放模块312和录音模块313可以结合pc内的播放和录音软硬件实现。虽然pc通常包括内置的扬声器，但为了更好的模拟人声，在此采用了功放315外加电嘴316的设置。电嘴是用于模拟真人说话的高保真音响，并且需要额外的功放设备315进行驱动。同样地，为了更好的进行声音采集，减少误判，在此可使录音模块313外接降噪电路318和麦克风317。麦克风317采集用户指令的语音以及音箱响应的语音，并经过降低录音采样的增益(降噪)，减少环境噪音干扰。
42.在此，语音交互设备实现为待测的智能音箱340，该智能音箱具有用于接收语音指令的麦克风阵列，并且可以向待测的物联网设备发出无线控制指令。
43.在此，物联网设备可以实现为智能灯泡320，该智能灯泡320与智能音箱340联网，并接受智能音箱的控制。例如，基于“开灯”的语音指令，在智能音箱的控制下点亮灯泡。智能灯泡320的上述状态变换，可以经由用作传感单元的光敏传感器350和用作转换单元的的单片机360，触发作为发声设备的蜂鸣器330的发声。在此，光敏传感器可以是利用光敏元件将光信号转换为电信号的传感器。本例中可以采用光敏传感器将光信号转换为电平信号输出，当环境光线高于一定阈值后，输出高电平，低于阈值后输出低电平。蜂鸣器则是一种一体化结构的电子讯响器，采用直流电压供电。在本例中可以在输入高电平时蜂鸣器发声，输入低电平时蜂鸣器停止发声。
44.图4示出了图3测试例的系统工作流程例。在步骤s410，pc端上位机系统310可以自动控制唤醒词及用户开关灯控制语音按固定间隔进行循环播放。在步骤s420，每一轮次测试开始后，上位机同步开启录音功能。在步骤s430，智能音箱端根据语音指令，以无线(例如，wifi、蓝牙mesh灯)方式发送控制指令给智能灯泡。在步骤s440，智能灯泡接收智能音箱操控指令后触发相应开关灯操作。在步骤s450，光敏传感器检测到智能灯泡开关引起的光线亮度变化，当亮度超过或低于阈值时，光敏传感器的io口输出对应的高低电平。在步骤s460，单片机系统采用硬件中断方式，实时检测光敏传感器的输入引脚电平，并在电平变化的上升沿和下降沿触发单片机系统的硬件中断。在步骤s470，单片机系统在硬件中断处理函数中，在连接蜂鸣器的io引脚输出50ms高电平，触发蜂鸣器发声。在步骤s480，单次开关灯指令操作结束后，上位机结束录音，并且可以分析录音文件，计算出用户指令结束点和蜂鸣器发声起始点时间间隔，记为t。在步骤s490，蜂鸣器发声点和灯时间亮起存在固定硬件延迟t1，t-t1即为智能灯泡点亮或是熄灭的响应延迟。
45.如上结合图3和图4描述了本发明进行物联网性能测试的一个实例。在上例中，选择在播放语音指令的同时开启录音。由于响应时间是语音指令结束到发声时间开始之间的时间(或是如上所描述的还包括修正延迟)，因此只要在语音指令播放完成前开启录音，就可以将语音指令结束和反馈发声都录入一个音频文件，以供后续进行响应分析。还可以在所述语音指令播放完成时设置指令播放结束标识符，并且基于所述标识符，对所述音频文件进行标记，以方便后续音频分析时的定位。在其他实施例中，甚至可以在语音指令结束的同时开始录音，由此直接使用发声开始时间作为响应时间。
46.另外，控制设备可以选择一个固定时间用作播放语音指令后的录音时间。例如，通常情况下，物联网设备对语音指令的响应不会超过10秒，因此可以将每次录音的结束时间点都规定为语音指令播放结束后的10秒，或者保险起见的15秒。另外，控制设备可以在前次
语音指令播放和录音结束后马上开启下一次测试。也可以根据预设的时间间隔，开启下一次测试。
47.在某些实施例中，播放的语音指令可以包括一起说出的唤醒词和指令，例如，“****(唤醒词)，打开卧室的灯”。此时，记录的响应时间实际上就包括语音交互设备的唤醒时间以及物联网设备针对语音指令的响应时间。虽然在某些情况下需要测试上述唤醒时间，但优选可以仅测试语音交互设备已被唤醒的情况下的物联网设备的受控响应时间。此时，控制设备可以先播放唤醒词，等待一个预定时间间隔之后，再进行语音指令的播放。
48.例如，如果智能音箱唤醒时间通常为1秒，应答时间通常为1秒，则可以将该预定时间间隔设为3秒或是5秒。此时，控制设备可以先播放“****(唤醒词)”，一秒后智能音箱做出应答，例如回答“在的”。随后智能音箱再等待预定时间间隔后，播放语音指令“开灯”并开启录音，以接受后续的反馈发声。此时，就能够更为单纯地测得物联网设备针对智能音箱转发的语音指令的响应时间本身。
49.如前所述，如果状态转变与反馈发声同时进行，则响应时间就是语音指令结束的时间和表征所述状态变换的反馈发声的开始时间之差。例如，智能空调在开启时，会同步发出“滴”的一声。但如果用于表征状态变换的反馈发声相比于状态变换本身在时间上有延迟，则需要确定所述状态变换到所述发声的延迟时间，并将记录到语音指令结束到记录到所述发声的时间再将去所述延迟时间作为所述响应时间。上述延迟可以是外部感测、转换和发声操作所导致的延迟，例如，图4涉及的传感-转换-发声延迟t1，也可以是物联网设备内部发声单元相对应状态转换的固有延迟。例如，智能电视在被开启时，首先屏幕会被点亮，然后在固定时间间隔(例如，3秒)之后会播放开机音乐。此时的延迟就是物联网设备内部状态变换和表征发声之间的固有延迟。
50.可以基于一定的测试方法来确定上述延迟。为此，在一个实施例中，确定所述状态变换到所述发声的延迟时间可以包括：拍摄包含所述状态变换时刻和所述发声时刻的视频文件；将所述视频文件分离为图像帧和音频；采用音频波形分析技术寻找所述音频中的发声开始点；采用视频分析技术寻找所述图像帧中的状态变换开始点；以及将所述发声开始点减去所述状态变换开始点作为所述延迟时间。
51.图5示出了图3测试例的硬件延迟分析流程例。从图3所示的智能灯泡320的亮度变换到蜂鸣器330发声，中间存在固定的硬件延迟，并且可以基于图5所示的方法进行求取。
52.在步骤s510，可以对智能灯泡320所处场景进行拍摄，拍摄包含灯泡点亮信息和发声信息的视频文件(包括音频信息)。例如，在进行基于语音列表的连续测试(例如，200次)时，可以在200次连续测试的开始、中间、结尾、随机几个时段进行录像采样(例如，20次)。具体地，可以使用智能手机以60fps进行录像。随后，在步骤s520，将所述视频文件分离为音频和图像帧，例如将录像文件分离为mp3和h264文件。在步骤s530，采用音频波形分析软件，分析出蜂鸣器发声开始时间点。在步骤s540，采用视频分析软件，逐帧分析出灯亮度变化开始时间点。在步骤s550，可以将音频中蜂鸣器发声时间点减视频中灯亮帧时间点，记为硬件延迟时间。例如，可以对各次录像求取的硬件延迟时间求平均值，作为固有硬件延迟时间。
53.如上结合图1-5描述了物联网性能测试系统。该系统能够实现一套软硬件一体化的自动化测试方案，将用户在通过语音交互设备控制物联网设备(例如，利用智能音箱语音控制智能灯泡开关)时，从用户发出开关控制指令结束到智能灯泡开始亮灭的体感延迟时
间，用自动化的测量方法，以毫秒级的精度量化出来。通过此方案，可精确度量出语音交互设备在iot(物联网)控制领域的性能指标。
54.针对物联网设备的非声音状态变换，可以通过对该状态变换的感测和电信号转换，来实现对表征该状态变换的发声的触发，并加以记录。例如，图3和图4实现了一种将开关灯引起的光线亮度变化，通过光敏传感器，转换为蜂鸣器声音变化的装置和方法。本方案可自动化模拟用户的语音控制操作，并将完整的操作过程进行同步录音(录音中包含了用户的控制语音和蜂鸣器的蜂鸣声)。通过对录音文件进行波形分析，可得出控制语音结束点和蜂鸣器发声的起始点，两者间差值记为响应延迟t。由于从光线变化到蜂鸣器发声之间，存在着信号转换的硬件固定延迟，本方案也提供了此硬件延迟的分析方法，分析出的硬件延迟记为t1。综合，t-t1即为语音交互设备控制物联网设备(例如，智能音箱控制智能灯泡开关)的响应时间。
55.本发明还可以如图6所示，实现为一种物联网性能测试方法。图6示出了根据本发明一个实施例的物联网性能测量方法的示意性流程图。
56.在步骤s610，播放语音指令并开启录音。该步骤可由控制设备或是图3所示的上位机系统指向。随后，在步骤s620，物联网设备基于所述语音指令进行状态变换。在步骤s630，获取状态变换信号并用发声表征所述状态变换。在步骤s640，分析录入了所述发声的音频文件。在步骤s650，确定从所述语音指令的发出到所述状态变换的响应时间。
57.在不同的实现中，物联网设备可以直接基于所述语音指令进行所述状态变换，即，自身作为直接接受指令的语音交互设备；或者该物联网设备可以基于语音交互设备响应于所述语音指令发送的用于进行状态变换的指令，进行所述状态变换。
58.相应地，获取状态变换信号并用发声表征所述状态变换可以包括所述状态变换本身包括所述发声或自动触发所述发声的情况。此时发声单元位于物联网设备内，并且可以直接将该发声开始时间认定为状态变换时间，或是基于特定的延迟时间来进行修正。另外，获取状态变换信号并用发声表征所述状态变换也可以包括感测所述状态变换信号，并将所述状态变换信号转换为所述发声。此时就需要额外布置传感设备和转换设备，并基于转换信号触发发声单元发声，同时还需要计算上述操作的硬件延迟时间。
59.具体地，分析录入了所述发声的音频文件可以包括：根据环境音计算采样点阈值；以及根据单位时间内满足所述采样点阈值的采样点占比，确定语音指令的实际结束点和所述发声的位置点。通过对背景音的感测，能够更为准确的找出语音指令的实际结束点和所述发声的开始位置点。
60.如前所述，在发声与状态变换同步时，可以基于所述分析结果，直接将记录到语音指令结束到记录到所述发声的时间作为所述响应时间。而在表征状态变化的发声有所延迟时，则可确定所述状态变换到所述发声的延迟时间，将记录到语音指令结束到记录到所述发声的时间再将去所述延迟时间作为所述响应时间。
61.进一步地，控制设备可以在所述语音指令播放完成时设置指令播放结束标识符；以及基于所述标识符，对所述音频文件进行标记。由此方便后续音频文件的分析。
62.此外，控制设备还可以批量载入语音指令，以重复对一个或多个所述物联网设备的响应时间测试。
63.本发明还可以实现为一种性能测试控制设备。图7示出了根据本发明一个实施例
的性能测试控制设备的组成示意图。该控制设备可以对应于图1和2所示的控制设备，以及图3所示的上位机系统。
64.控制设备700可以包括播放模块710、录音模块720、存储模块730和处理模块740。播放模块710用于播放语音指令。录音模块720用于开启录音，并记录表征物联网设备状态变换的发声。存储模块730用于存储所述语音指令和录入的音频文件。处理模块740用于控制所述扬声器、所述麦克风、所述存储模块的操作，分析录入了所述发声的音频文件，并确定从所述语音指令的发出到所述状态变换的响应时间。
65.上述模块的功能实现需要控制设备的物理硬件支持。为此，播放模块710可以包括：扬声器；和/或能够更为准确的模拟人声的功放和电嘴。录音模块720则可包括麦克风；和/或降噪单元。
66.进一步地，上述控制设备还需要软件单元用于操作与展示。为此，该设备700还可以包括：设置模块，用于设置语音指令文件播放列表和/或录制等待时间。进一步地，该设备700还可以包括：展示模块，用于展示：测试进度；录音实时波形；实时数据分析展示；日志信息展示；批量数据的可视化报表展示。
67.本发明还可以实现为一种性能测试控制装置，该装置可以实现为多个相互协同的功能模块，并且可以实现为在控制设备上安装的软件系统。
68.该性能测试控制装置可以包括：设置模块，用于设置待播放的语音指令列表；音频播放控制模块，用于基于设备，播放语音指令；录音模块，用于与所述语音指令的播放相关联的进行录音并保存录制的音频文件，所述录音具有能够录入表征物联网设备基于所述语音指令进行状态变换的发声的长度；分析模块，用于分析录入了所述发声的音频文件，并确定从所述语音指令的发出到所述状态变换的响应时间；展示模块，用于展示所述响应时间。进一步地，该装置还可以包括：日志模块，用于生成并保存测试日志；以及统计模块，用于统计批量化测试结果，并生成可视化报表。
69.图8示出了根据本发明的一种性能测试控制装置所包含的功能模块的例子。如图8所示，装置800可以包括人机交互界面模块810、音频播放控制模块820、录音模块830、数据分析模块840、日志模块850和报表模块860。
70.人机交互界面模块810可以包含设置项和展示项。设置项可以包含：语音指令文件播放列表、测试中等待时间参数设置、唤醒词设置、测试循环数设置。展示项可以包含：测试进度、录音实时波形、实时数据分析结果展示、实时数据分析波形展示。
71.音频播放控制模块820可以支持语音指令文件批量加入播放列表，支持单条指令语音播放测试、支持列表内指令语音循环播放测试；其中用户指令音频，可以是真人录制的语音，也可以文本转换的tts语音。
72.录音模块830可以实现上位机(例如，控制设备)指令语音、音箱端响应语音的录音及录音文件保存，并且可以将录音文件名与语音指令文件名相关联，方便对测试结果的追溯。
73.数据分析模块840则可通过对录音文件数据分析，得出每一条语音指令的音箱端响应时间。
74.日志模块850可以用于测试过程的日志信息实时刷新展示和日志保存。
75.报表模块(统计模块)860则可用于统计批量测试的结果并生成相应的可视化报
表。
76.本发明的测试系统对待测设备无侵入，可测试任意语音交互和物联网设备，同时结合上位机批量播放列表、自动化数据分析，可实现无人值守批量语音指令的响应时间自动化测试。进一步地，通过交互界面实现测试参数可配置，唤醒词可配置，可兼容各类语音交互设备类型。另外，通过实时录音波形显示、录音分析结果波形展示，可实时判定测试结果的准确性。
77.具体地，上述自动化测试可以由结合图8示出的软件系统实现，并且在一个优选例中可以具体包括如下步骤：
78.首先，采用pc端上位机系统，自动控制唤醒词及用户指令语音的播放。
79.在pc端单次测试的语音指令播放前，可以同步开启pc端录音功能；对pc端播放的每一条指令语音，都会在pc端同时生成一条对应的录音文件。
80.调用系统录音api，可设置录音数据的回调函数，在录音数据缓冲达到阈值后，会进入此回调函数，在回调函数中，将录音数据写入文件。pc端播放的指令语音，以及智能音箱端的回复语音，会被同步录制到pc端的一个录音文件中。由于缓存区域有限，回调函数会在针对每一条指令语音的录制过程中多次回调，为此最终生成的录音文件中会依次包括多个回调数据段，例如数据段1-n。
81.调用系统播放api，可设置播放结束后的回调函数，在当前的语音指令播放结束后，会进入此回调函数，在回调函数中，设置语音指令播放结束标识符。为此，在最终生成的录音文件中，会在例如第m个数据段中包括上述播放结束标识符，其中，1＜m＜n。
82.在录音数据回调函数中，检测上述中设置的语音指令播放结束标识符，检测到标识符后，记录当前录音回调数据写入到录音文件中的字节偏移。由于操作系统中不同进程是异步操作，此方法标记的偏移值会滞后于实际指令语音播放的结束点。
83.在等待一定间隔后(间隔可为一恒定值，此间隔内音箱端会完成对用户语音指令的响应，如果超过此间隔音箱端仍未响应，则认为此次测试异常超时退出，不计入测试结果)，pc端停止录音，并对录音文件进行分析，分析得出响应时间。
84.在指令语音播放结束，到音箱响应之间，可以在环境上尽量保证没有突发噪音的干扰；通过记录的指令播放结束对应的录音文件偏移点，向录音文件头部方向，查找指令语音实际结束点，向录音文件尾部方向，查找音箱响应开始点，从而根据开始点和结束点的字节间隔计算出响应时间。
85.由此，通过指令语音播放结束回调的方式，可以在录音文件中打上标志。凭借此标志，可以快速准确定位到指令语音结束点和音箱响应的开始点，从而分析精确分析出响应时间。另外，通过自动化批量循环测试的方式，可一次性对大批量不同内容的语音指令进行测试，使分析结果更具有统计意义。
86.进一步地，在针对录音文件的分析过程中，本发明还可以优选地进行如下操作：
87.首先，设置录音参数，例如将其设置为：单声道、采样率16khz、采样位深16bit、pcm格式。
88.同时，可以获取用来判断开始结束点的幅度阈值(记为f)。例如，可以在测试开始前，pc端采集经过降噪后的麦克风输入音频(环境音)，分析音频波形，得到特定阈值，例如，使得超过90％的采样点幅度在此阈值以下。
89.如上，在测试过程中已记录指令播放结束时录音数据在录音文件中的偏移点为p。
90.打开录音文件的句柄为fd，以10ms为步进(对应320字节采样点，记为m)，向文件fd的文件头部移动；计算单个步进内，每个采样点的幅值fx与幅度阈值f比较，大于阈值时将计数i＝i 1；遍历完单个步进后，如果计数i与步进内总采样点数占比大于80％(i/m》80％)，则将此10ms步进片段的尾部作为指令语音在录音文件中的实际偏移点，记为p1；同理，从偏移点p，向fd的文件尾部移动，查找出音箱响应开始的10ms片段，并将该片段的头部作为音箱响应在录音文件中的实际偏移点，记为p2；p2-p1即为代表响应时间的录音字节数。根据录音pcm数据格式，可计算出响应时间毫秒值t＝((p2-p1)/1/2/16)。通过在步进中求占比的方式可以有效过滤掉音频中的突变点，从而消除采样值突变引起的干扰。
91.在某些实施例中，如上所述的控制设备或是上位机系统可以是语音交互设备本身。例如，智能音箱可以内置或是基于云端获取的命令，测试自身和/或与其他物联网设备的所述响应时间。此时就不需要额外的pc用作控制设备，而由智能音箱发起其与物联网设备交互的响应时间测试。
92.于是，本发明还可以实现为一种语音交互设备，用于实现为如上结合图7所述的性能测试控制设备，或是实现如图8所示的性能测试控制装置的功能。
93.本发明还可以实现为一种待测物联网系统，包括：语音交互设备，用于接收上位机的语音指令，并基于所述语音指令，生成针对联网设备的设备操作指令；以及联网设备，用于接收所述设备操作指令，并基于所述设备操作指令执行相应的设备操作；传感设备，用于感测所述设备操作；转换设备，用于接收所述传感设备的感测信号；以及发声设备，用于接收所述转换设备基于所述感测信号发出的转换信号，并发出声音。
94.所述语音交互设备可以如图3所示包括智能音箱，所述联网设备包括受所述智能音箱控制的物联网设备，例如智能灯泡等。
95.进一步地，本发明还可以实现为一种物联网性能测试平台，包括：服务器，用于下发测试指令；以及如上所述的性能测试控制设备、装置或是待测物联网系统，用于基于所述测试指令进行测试。
96.所述服务器除了用于下发测试指令之外，还可以用于：汇总物联网设备的语音响应时间；以及统计并显示所述语音响应时间。由此，能够实现平台发起的响应时间测试。
97.图9示出了根据本发明一个实施例可用于实现上述测试方法的计算设备的结构示意图。例如，该计算设备可以本发明中用作上位机的pc端。
98.参见图9，计算设备900包括存储器910和处理器920。
99.处理器920可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器920可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(gpu)、数字信号处理器(dsp)等等。在一些实施例中，处理器920可以使用定制的电路实现，例如特定用途集成电路(asic，application specific integrated circuit)或者现场可编程逻辑门阵列(fpga，field programmable gate arrays)。
100.存储器910可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永久存储装置。其中，rom可以存储处理器920或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用
大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器910可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器910可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
101.存储器910上存储有可执行代码，当可执行代码被处理器920处理时，可以使处理器920执行上文述及的测试方法。例如，上述代码可以从如上所述的平台服务器获取。
102.上文中已经参考附图详细描述了根据本发明的物联网设备性能测量方案。本发明的自动化测试方案，将在通过智能语音设备控制物联网设备时，从发出开关控制指令结束到物联网设备进行相应动作的体感延迟时间，用自动化的测量方法，以例如毫秒级的精度量化出来。通过此方案，可精确度量出智能语音识别在iot控制领域的性能指标。
103.具体地，本发明的自动化测试方案还具有诸多优点。本方案对待测音箱设备无侵入，通过测试参数可配置，唤醒词可配置的方式，可适配各类音箱类型；本方案实现的人机交互界面，可实时录音波形显示、录音分析结果波形展示，可实时判定测试结果准确性；本方案实现的批量自动化循环测试方法，可无人值守测试，可减少测试过程中环境异常噪音干扰，减少网络波动对音箱端干扰，结果更具有统计学意义；本方案实现的测试过程可以实现录音文件保存，录音文件名和指令内容相关联，使测试过程中的历史数据可回溯；本方案实现的响应时间分析方法中，可以采用在步进中求占比的方式可以有效过滤掉音频中的突变点，从而消除采样值突变引起的干扰。
104.此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
105.或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
106.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
107.附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作
的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
108.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。