语音交互设备的性能测试方法、装置、设备及可读介质与流程

技术特征：
1.一种语音交互设备的性能测试方法，其特征在于，包括：向待测的语音交互设备发送测试音频信号，并记录所述测试音频信号的发送时间戳作为第一时间戳；接收所述语音交互设备响应于所述测试音频信号而返回的测试过程数据，所述测试过程数据包括：针对所述测试音频信号经自动语音识别处理所得的第一文本、以及针对所述第一文本经自然语言处理所得的回复文本、以及所述回复文本经过语音合成所得的回复音频的播放时间戳；根据所述第一文本和所述回复文本以及与所述测试音频信号对应的测试标注文本和回复标注文本，确定所述语音交互设备的语音识别准确率；根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述语音交互设备响应于所述测试音频信号而返回的系统状态信息；根据所述系统状态信息，确定所述语音交互设备的资源占用指标，所述资源占用指标包括工作进程的处理器占用信息、工作线程的处理器占用信息、工作进程的内存占用信息、工作线程的内存占用信息中的至少一项。3.根据权利要求1所述的方法，其特征在于，在所述向待测的语音交互设备发送测试音频信号之前，所述方法还包括：基于预设的语音指令集，从预设发音人的性别、所述预设发音人的年龄、所述预设发音人的地域、所述预设发音人的语速中的至少一项，从预设的语音指令集中选择匹配的语音指令作为所述测试音频信号。4.根据权利要求1所述的方法，其特征在于，在所述向待测的语音交互设备发送测试音频信号之前，所述方法还包括：根据选定的目标噪声场景类型，所述目标噪声场景类型包括安静场景或噪声场景；调用与所述目标噪声场景类型对应的加噪处理方法，对所述语音指令集中被选定的语音指令进行加噪处理得到携带噪声的测试音频信号。5.根据权利要求1所述的方法，其特征在于，所述根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标，包括：根据所述发送时间戳和针对所述测试音频信号的自动语音识别的结果时间戳，确定所述性能耗时指标包括的自动语音识别尾点耗时指标；其中，所述发送时间戳为语音活动检测判停时间戳；根据所述发送时间戳和针对所述第一文本的自然语言处理的结果时间戳，确定所述性能耗时指标包括的针对所述第一文本的自然语言处理耗时指标；根据所述发送时间戳和所述播放时间戳，确定所述性能耗时指标包括的交互耗时指标；其中，所述播放时间戳为针对所述回复文本的文本转语音处理的首包时间戳。6.根据权利要求1-5所述的方法，其特征在于，在所述根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标之后，还包括：接收展示指令，所述展示指令包括用户选择的展示选项，所述用户选择的展示选项包括所述性能耗时指标包括的自动语音识别尾点耗时指标、所述性能耗时指标包括的自然语言处理耗时指标、所述性能耗时指标包括的交互耗时指标、语音识别准确率、资源占用指标
中的至少一项；以图表形式展示所述用户选择的展示选项对应的性能耗时指标。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：当所述自动语音识别尾点耗时指标大于预设第一阈值，则进行报警，以用于表征所述自动语音识别尾点耗时指标不合格；当所述自然语言处理耗时指标大于预设第二阈值，则进行报警，以用于表征所述自然语言处理耗时指标不合格；当所述交互耗时指标大于预设第三阈值，则进行报警，以用于表征所述交互耗时指标不合格。8.一种语音交互设备的性能测试装置，其特征在于，包括：第一处理模块，用于向待测的语音交互设备发送测试音频信号，并记录所述测试音频信号的发送时间戳作为第一时间戳；第二处理模块，用于接收所述语音交互设备响应于所述测试音频信号而返回的测试过程数据，所述测试过程数据包括：针对所述测试音频信号经自动语音识别处理所得的第一文本、以及针对所述第一文本经自然语言处理所得的回复文本、以及所述回复文本经过语音合成所得的回复音频的播放时间戳；第三处理模块，用于根据所述第一文本和所述回复文本以及与所述测试音频信号对应的测试标注文本和回复标注文本，确定所述语音交互设备的语音识别准确率；第四处理模块，用于根据所述发送时间戳和所述播放时间戳，确定所述语音交互设备的性能耗时指标。9.一种电子设备，其特征在于，包括：处理器、存储器；所述存储器，用于存储计算机程序；所述处理器，用于通过调用所述计算机程序，执行如上述权利要求1-7中任一项所述的方法。10.一种计算机可读介质，其特征在于，存储有计算机程序，所述计算机程序用于被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本公开实施例提供了一种语音交互设备的性能检测方法、装置、电子设备及计算机可读介质，该方法包括：向待测的语音交互设备发送测试音频信号，并记录测试音频信号的发送时间戳作为第一时间戳；接收语音交互设备响应于测试音频信号而返回的测试过程数据，测试过程数据包括：针对测试音频信号经自动语音识别处理所得的第一文本、以及针对第一文本经自然语言处理所得的回复文本、以及回复文本经过语音合成所得的回复音频的播放时间戳；根据第一文本和回复文本以及与测试音频信号对应的测试标注文本和回复标注文本，确定语音交互设备的语音识别准确率；根据发送时间戳和播放时间戳，确定语音交互设备的性能耗时指标。该方法提高了性能检测的准确性。性能检测的准确性。性能检测的准确性。


技术研发人员：陈世强
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：2021.03.02
技术公布日：2022/9/1