智能对话能力测试方法、介质和测试设备与流程

1.本技术涉及信息处理技术领域，尤其涉及智能对话能力测试方法、介质和测试设备。


背景技术：

2.语音助手是当前大多数智能终端设备(如智能手机、智能音箱等)都会配备的应用程序，它能够通过智能对话与即时问答的方式，为用户解决问题，或者呈现一些智能设备的功能。
3.语音助手的应用及其多元化，例如，结合人工智能(artificial intelligence，ai)、自动语音识别(automatic speech recognition，asr)、自然语言理解(natural language understanding，nlu)，透过无线连接，不仅能执行多媒体资源播放，还能串接到物联网装置去实现智能测试家居控制、智能测试家居以及车载语音控制和电话会议系统等。然而，因为智能语音助手应用的多元化，却使语音助手产品的测试与验证面向更多困难，语音辨识、覆盖的场景等语音助手的智能测试对话能力，也都需列入考虑才能确保产品的智能对话质量。
4.目前，在语音助手的智能对话能力测试中，并未有对智能语音助手的智能对话能力进行自动化评估的测试技术。


技术实现要素：

5.本技术实施例提供了电子设备及其语音助手应用程序的智能对话能力测试方法、介质和测试设备，以便于对智能语音助手的智能对话能力进行自动化评估。
6.本技术的第一方面提供了一种语音助手应用程序的智能对话能力测试方法，包括：
7.所述测试设备向所述电子设备发送测试语句，并且接收所述电子设备利用语音助手应用程序对所述测试语句生成的反馈操作；
8.所述测试设备记载对话语料，所述对话语料包括测试语句和所述反馈操作对应的反馈语句；
9.所述测试设备根据所述对话语料确定意图对话路径，所述意图对话路径是由基于测试语句和所述反馈操作生成的一个或者多个意图组成的；
10.所述测试设备通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，确定所述语音助手应用程序的智能对话能力的水平。
11.本技术实施例中，一方面，实现自动测得语音助手应用程序的智能对话能力的功能，有助于减少甚至省去对在语音助手应用程序的智能对话能力的测试环节中人的介入，节省人力成本。另一方面，用对话语料中的意图与预设意图比较，因意图是对话语料中的每句话的意图内容的提炼，不需要耗费大量的比较时间，而且不同的话有多种不同的表达方式在无足够多的预设意图对话路径的时候，也往往因为匹配到预设意图对话路径，达到测
试准确且测试速度快的目的。
12.在上述第一方面的一种可能的实现中，所述测试设备通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，包括：
13.所述测试设备判断意图对话路径中是否包含与测试语句关联的预设意图对话路径。
14.本技术实施例中，与测试语句关联的预设意图对话路径是由基于所述测试语句的意图和针对测试语句的设定反馈的意图组成的。从对话语料中提取的意图对话路径中，若意图对话路径中包含与测试语句关联的预设意图对话路径，则说明语音助手应用程序具备与测试语句关联的预设意图对话路径对应的对话能力，从而测试设备可以通过判断意图对话路径中是否包含与测试语句关联的预设意图对话路径，自动判断语音助手应用程序是否具备智能对话能力中的某一项能力，达到自动快捷测得语音助手应用程序的智能对话能力的目的。
15.在上述第一方面的一种可能的实现中，还包括：意图对话路径中每个测试语句和反馈操作对应的反馈语句的意图对应一个节点，包括：
16.遍历意图对话路径中节点的内容，与预设意图对话路径列表中的节点的内容进行匹配，以判断是否包含与测试语句关联的预设意图对话路径的内容。
17.本技术实施例中，因为每个测试语句对应一个意图，反馈操作对应的反馈语句对应一个意图，可以通过判断每个节点的意图内容达到自动快捷地测得语音助手应用程序的智能对话能力的目的。
18.在上述第一方面的一种可能的实现中，还包括：所述遍历意图对话路径中节点的内容，包括：
19.通过滑动窗口遍历意图对话路径中的节点的内容，滑动窗口包含n个节点，滑动步长为m，其中，n为大于2的自然数，m为大于等于1的自然数。
20.本技术实施例中，与测试语句关联的预设意图对话路径是由基于所述测试语句的意图和针对测试语句的设定反馈的意图组成的。测试语音助手应用程序是否具备智能对话能力，可以通过一个测试语句的意图和一个设定反馈的意图，也可以通过两个测试语句的意图和与每个测试语句对应的两个设定反馈的意图测得，如此，可以根据实际情况，调整滑动窗口的节点数，减少遍历滑动次数。准确且快捷得测得对话语料中的意图对话路径是否包含预设意图对话路径。
21.在上述第一方面的一种可能的实现中，还包括：所述确定所述语音助手应用程序的智能对话能力的水平，包括：
22.在意图对话路径中包含所述与测试语句关联的预设意图对话路径的情况下，电子设备确定电子设备上的语音助手应用程序具备所述预设意图对话路径对应的智能对话能力；
23.在意图对话路径中不包含与测试语句关联的预设意图对话路径的情况下，电子设备确定电子设备上的语音助手应用程序不具备预设意图对话路径对应的智能对话能力。
24.在上述第一方面的一种可能的实现中，还包括：所述确定所述语音助手应用程序的智能对话能力的水平，包括：
25.对所述语音助手应用程序的智能对话能力中的至少一项智能对话能力进行评分
和/或智能对话能力中的每一项智能对话能力的总评分。
26.在上述第一方面的一种可能的实现中，还包括：所述反馈操作包括对测试语句的反馈语音和/或在所述电子设备的显示屏上呈现的与反馈语音关联的反馈信息。
27.在上述第一方面的一种可能的实现中，还包括：所述与测试语句关联的预设意图对话路径是由基于所述测试语句的意图和针对测试语句的设定反馈的意图组成的。
28.在上述第一方面的一种可能的实现中，还包括：所述智能对话能力包括以下至少一项：语义理解能力、行为智能对话能力、兜底表现能力。
29.本技术的第二方面提供了一种计算机可读介质，所述可读介质上存储有指令，该指令在计算机上执行时使计算机执行如前述第一方面提供的语音助手应用程序的智能对话能力测试方法。
30.本技术的第三方面提供了一种测试设备，其特征在于，包括：
31.存储器，用于存储由系统的一个或多个处理器执行的指令，以及
32.处理器，是测试设备的处理器之一，用于执行如前述第一方面提供的语音助手应用程序的智能对话能力测试方法。
33.本技术的第四方面提供了一种测试系统，包括电子设备和测试设备；
34.所述电子设备用于运行语音助手应用程序；
35.所述测试设备用于向所述电子设备发送测试语句，并且接收所述电子设备利用语音助手应用程序对所述测试语句生成的反馈操作；
36.所述测试设备用于记载对话语料，所述对话语料包括测试语句和所述反馈操作对应的反馈语句；
37.用于根据所述对话语料确定意图对话路径，所述意图对话路径是由基于测试语句和所述反馈操作生成的一个或者多个意图组成的；
38.用于通过所述意图对话路径和与测试语句关联的预设意图对话路径比较，确定所述语音助手应用程序的智能对话能力的水平。
附图说明
39.图1a根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试方法的应用场景图。
40.图1b根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试方法的应用场景图。
41.图1c根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试方法的应用场景图。
42.图1d根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试方法的应用场景图。
43.图2a根据本技术的一些实施例，示出了一种现有技术中对话能力测试的应用场景图。
44.图2b根据本技术的一些实施例，示出了一种现有技术中对话能力测试的应用场景图。
45.图3根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测
试系统的结构示意图。
46.图4根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力的流程示意图。
47.图5根据本技术的一些实施例，示出了一种基于神经网络的对话模型的结构示意图。
48.图6a根据本技术的一些实施例，示出了一种对话路径的结构示意图。
49.图6b根据本技术的一些实施例，示出了另一种对话路径的结构示意图。
50.图7根据本技术的一些实施例，示出了一种提示信息。
51.图8根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力的流程示意图。
52.图9a根据本技术的一些实施例，示出了一种智能对话能力测评模型的训练过程示意图。
53.图9b根据本技术的一些实施例，示出了一种智能对话能力测评模型的应用过程示意图。
54.图10根据本技术的一些实施例，示出了一种能够实现语音助手应用程序的智能对话能力测试功能的手机100的结构框图。
55.图11根据本技术一些实施例，示出了手机100的软件结构框图。
具体实施方式
56.本技术的说明性实施例包括但不限于电子设备及其语音助手应用程序的智能对话能力测试方法、介质和测试设备等。
57.本技术实施例通过测试设备200与装载有语音助手应用程序的电子设备100进行语音通话，自动测得电子设备100的语音助手应用程序的智能对话能力。本技术的方案，有助于减少甚至省去对在语音助手应用程序的智能对话能力的测试环节中人的介入，节省人力成本。
58.下面将结合附图对本技术的实施例作进一步地详细阐述。
59.图1a、图1b、图1c和图1d根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试方法的应用场景图。如图1a所示，该场景中包括电子设备100，电子设备100上装载有语音助手应用程序，点击图标控件“语音助手应用程序”，电子设备100开启语音助手应用程序后，测试设备200可以与电子设备100进行智能对话。
60.如图1b所示，该场景中包括电子设备100和测试设备200，在测试对话过程中，测试设备200被配置为使得与电子设备100进行的对话会带有一定目的性的。例如，测试设备200发出一些容易被理解为其他意图的关键词或表述语音，以评判电子设备100上的语音助手是否正确理解了意图的关键词或表述。若理解的结果正确，则可以认为语音助手应用程序具备正确理解意图的关键词或表述的能力。又如，测试设备200发出一些意图跳转语音，以评判电子设备100上的语音助手是否对意图跳转语音进行准确识别，若识别的结果正确，则认定语音助手应用程序具备准确识别意图跳转语音的能力。又如，测试设备200发出一段带有多个人称代词的语句，以评判电子设备上100的语音助手是否能够准确判断出多个人称代词指的是什么.若准确判断出多个人称代词指的是什么，则认为出语音助手应用程序具
备准确判断出多个人称代词的能力。本技术实施例可以与多场景语音辨识测试技术相结合，在不同场景下播放由对话模型生成的对话语料，全面评估智能测试语音助手的语音辨识能力和上下文处理能力。
61.在一些实施例中，测试设备200具备训练或者优化训练对话模型的能力。如图1c所示，测试设备200与电子设备100进行的对话会产生新的对话语料，即之前未出现过的对话，测试设备200会将新对话语料作为训练集去训练对话模型，即在每一个对话场景下的样本素材更多，以优化对话模型，提高对话模型的智能对话能力。
62.可以理解，与上述实施例不同的是，存在单独的训练设备，该训练设备用于训练或者优化训练对话模型。如图1d所示，模型训练设备300与测试设备200之间可以通过有线链路或者无线链路连接，在测试设备200与电子设备100进行的对话产生新的对话语料时，即之前未出现过的对话。测试设备200会将新对话语料传输给模型训练设备300，以便于作为训练集去训练模型训练设备300中的对话模型，优化对话模型。模型训练设备300可以为服务器、电脑等。模型训练设备300可以为包含处理器和存储器。其中，处理器可以为图形处理器(graphics processing unit，cpu)、中央处理器(central processing unit，cpu)、张量处理器(tensor processing unit，tpu)。
63.可以理解的是，图1a、图1b、图1c和图1d虽然示出了手机100，但适用于本技术的电子设备100可以为具备智能对话能力的设备，例如，手机、电脑、智能音箱、智能电动窗帘、智能安防设备、智能照明设备、智能门锁、智能烟机灶具、智能电饭煲、智能洗衣机、智能电冰箱、智能电动窗帘、智能安防设备、智能照明设备、智能打印机、智能投影仪等，但不限于此。图1b、图1c和图1d虽然示出了智能测试机器人200，但适用于本技术的智能测试机器人200可以为具备智能对话能力测试的设备，例如，手机、电脑等，但不限于此。
64.图2a和图2b根据本技术的一些实施例，示出了一种现有技术中对话能力测试的应用场景图。如图2a所示，测试设备400上装载有语音助手和语音响应测试程序，通过音响410播放之前预录的测试语音，在测试过程中加上其他测试变量如背景噪音、角度、距离、无线干扰，对语音助手进行压力测试。判断智能语音助手的响应正确率。该技术主要测试了智慧语音助手在不同条件下的语音识别能力，并没有像本技术那样对语音识别成功后的智能程度(如知识丰富度、上下文处理能力等)进行较全面的评估。
65.如图2b所示，现有技术中，从基础能力、初级知识服务能力、高级知识服务能力三个方面，根据智能语音助手现阶段的智力水平构建相应的测试题库，用来评估智能语音助手的知识服务能力。但现有技术中存在以下缺点：需要大量人工接入的环节，例如，需要人工构建题库及相应的测试语料/答案，人力成本高，工作量大。高级知识服务能力中的学习能力与个性化服务能力测试，需要根据每个案例人工判断测试目标是否完成任务。主要测试单轮问答场景下语音助手的智能程度，并没有像本技术那样实现多轮对话场景下对语音助手上下文处理能力(如意图接续/跳转、指代/上下文推理)的自动化评估功能。
66.下面以电子设备100为手机100，测试设备200为智能测试机器人200为例进行说明。
67.图3根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试系统的结构示意图，如图3所示，该系统包括手机100和智能测试机器人200。
68.其中，手机100包括扬声器101、麦克风102和处理器103。智能测试机器人200包括
扬声器201、麦克风202和处理器203。在本技术实施例中，手机100开启语音助手应用程序后，能够识别外界的语音。当智能测试机器人200通过扬声器201发出一些容易被理解为其他意图的关键词或表述语音。相应地，手机100通过麦克风102接收到智能测试机器人200发出的语音，并将该语音传送给处理器103。处理器103将该语音进行处理，得出反馈语句。手机100通过扬声器101将反馈语句转化为语音发送给智能测试机器人200。智能测试机器人200通过麦克风202接收到手机100发出的语音，并将该语音传送给处理器203。处理器203将该语音进行处理，得出语音反馈语句，智能测试机器人200通过扬声器201将反馈语句转化为语音发送给手机100。在智能测试机器人200与手机100一来一回的对话过程中，智能测试机器人200测出手机100上的语音助手的智能对话能力。例如，智能测试机器人200判断手机100上的语音助手是否正确理解了意图的关键词或表述，若语音助手未正确理解，则认为出语音助手应用程序不具备正确理解意图的关键词或表述的能力。
69.为了能够智能且准确识别出语音助手应用程序的如正确理解意图的关键词或表述的能力、准确识别意图跳转语音的能力等智能对话能力，下面具体介绍语音助手应用程序的智能对话能力的测试流程。
70.实施例一：
71.图4根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力测试的流程示意图。如图4所示，根据本技术的语音助手应用程序的智能对话能力测试方法包括：
72.在对语音助手应用程序的智能对话能力进行测试时，需要运行语音助手应用程序，即触发手机100中安装的语音助手应用程序的开启，手机100运行语音助手应用程序，能够接收外界传递的语言，并且能对从外界接收的语言进行回应。
73.触发语音助手应用程序的方法可以是如图1a所示的通过点击图标控件“语音助手”，也可以通过特定的语音来唤醒。
74.s401:智能测试机器人200与手机100上运行的语音助手应用程序进行测试对话，智能测试机器人200记载对话语料。
75.在一些实施例中，测试对话为智能测试机器人200与手机100一问一答的过程中产生的对话内容，对话语料包括测试语句和反馈操作对应的反馈语句。对话语料可以通过以下示例性方式得到。
76.智能测试机器人200向手机100上的语音助手应用程序发送测试语句，手机100利用语音助手应用程序对测试语句生成反馈操作；
77.智能测试机器人200记载对话语料，对话语料包括测试语句和反馈操作对应的反馈语句；可以理解，反馈操作可以包括对测试语句的反馈语音；和/或在手机100的显示屏上呈现的与反馈语音和/或文本关联的反馈信息，例如，反馈图片信息或者文本信息等。
78.在一些实施例中，利用训练好的对话模型实现智能测试机器人200与手机100上的语音助手的对话功能，即通过智能测试机器人200上装载有训练好的对话模型，与手机100上的语音助手应用程序进行测试语句形成对话语料。例如，智能测试机器人200将手机100发出的一段语音进行语音识别得到文本，文本输入训练好的对话模型，输出对对手机100发出的一段语音得到文本进行意图识别得到反馈语句，智能测试机器人200再将反馈语句转化成语音，向手机100发出该语音。
79.在其他一些实施例中，训练好的对话模型用于根据输入的如特定场景下的包含意图、槽位信息、实体的对话语料、对话路径中的任意一项或者至少一项等对话目标，生成上下文连贯的对话语料。其中，意图为想要做什么的目的，即目的分类，例如，判断目的是问的是天气、是旅游还是问某部电影的信息，不同应用场景对应不同的意图分类。实体为表示一类的词汇，例如，城市、国家等，通过构建实体词表和同义词表替换同一类实体中的不同词汇。槽可以理解为实体已明确定义的属性，例如打车中的，出发地点槽，目的地槽，出发时间槽中的属性分别是“出发地点”、“目的地”和“出发时间”。填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程，即从大规模的语料库中抽取给定实体的被明确定义的属性的值。
80.例如，将意图为咨询天气，实体为周五、哈尔滨、西安，输入训练好的对话模型，生成如下示例性对话语料：
81.##1593763495883
[0082]-utter_wakeup
[0083]
*wakeup_response：我在。
[0084]-utter_inquire_weather
[0085]
*inform_weather：[周五]{date}[哈尔滨]{city}的天气很好。
[0086]-utter_further_inquire_city_or_date
[0087]
*inform_weather：[西安]{city}[今天]{date}的天气很好。
[0088]-utter_hesitate_inquire_weather
[0089]
*inform_weather：[今天]{date}[哈尔滨]{city}的天气很好。
[0090]
该对话语料可以用于通过意图识别得到预设意图对话路径，该预设意图对话路径与测试语句关联，是由基于测试语句的意图和针对测试语句的设定反馈的意图组成的。
[0091]
本技术方案中，自动生成特定场景/任务下的对话语料，代替人工编写的测试语料/题库。自动生成的对话语料有足够的泛化能力，在语料中未出现的对话情形里也能合理的行为。
[0092]
对话模型可以通过以下示例性方式训练得到，将包含意图、槽位信息、实体、对话路径作为初始训练集。该些初始训练集可以为从语料数据库得到或者人工编写，输入到待训练的对话模型中进行训练，得到训练好的对话模型。下面为包含意图、槽位信息、实体的一些示例性初始训练集：
[0093]
示例1
[0094]
##intent：restaurant_search
[0095]-show me[chinese]{cuisine}restaurants
[0096]
此示例中，##后面表示的意图为餐厅询问，-后面表示语料为给我展示中国烹饪菜馆，其中[chinese]为国家名称实体，可以通过词表中的其他同类词替换，{cuisine}也是。
[0097]
示例2
[0098]
##intent：greet
[0099]-hey
[0100]-hello
[0101]-hi
[0102]-good morning
[0103]-good evening
[0104]-hey there
[0105]
此示例中，##后面表示的意图为问候，-后面表示语料为一些打招呼的词。
[0106]
下面为对话路径的一些示例性初始训练集：
[0107]
示例1
[0108]
##simple path
[0109]
*weather_address_date_time：{“weather_address”：“上海”，“date_time”：“明天”}
[0110]-utter_working_on_it
[0111]-action_report_weather
[0112]-utter_report_weather
[0113]
此实施例的对话情节为简单的问一下上海明天的天气。
[0114]
示例2
[0115]
##simple path with greet
[0116]
*greet
[0117]-utter_greet
[0118]
*weather_address_date_time：{“weather_address”：“上海”，“date_time”：“明天”}
[0119]-utter_working_on_it
[0120]-action_report_weather
[0121]-utter_report_weather
[0122]
此实施例的对话情节为在问上海明天的天气之前先礼貌性的打个问候的招呼。
[0123]
示例3
[0124]
##address date_time path with greet
[0125]
*greet
[0126]-utter_greet
[0127]
*weather_address{“weather_address”：“上海”}
[0128]-utter_ask_date_time
[0129]
*weather_date_time：{“weather_date_time”：“明天”}
[0130]-utter_working_on_it
[0131]-action_report_weather
[0132]-utter_report_weather
[0133]
此实施例的对话情节为先礼貌性的打个问候的招呼，再根据咨询上海天气的意图，询问是要咨询什么时间的天气。
[0134]
训练好的对话模型可以为基于神经网络的对话模型。下面示例性说明基于神经网络的对话模型的结构。图5根据本技术的一些实施例，示出了一种基于神经网络的对话模型的结构示意图，如图5，基于神经网络的对话模型主要包括三个模块：
[0135]
自然语言理解(natural language understanding，nlu))模块501，主要作用是对
用户输入的句子或者语音识别的结果进行处理，提取用户的对话意图以及用户所传递的信息。例如，用户问“我想吃羊肉泡馍”，nlu模块就可以识别出用户的意图是“寻找餐馆”，而关键实体是“羊肉泡馍”。在本技术实施例中，上述包含意图、槽位信息、实体的一些示例性初始训练集可以作为该模块的初始训练集。
[0136]
对话管理(dialogue management，dm)模块502，其主要作用是根据nlu模块输出的意图、槽位和关键实体等结果控制人机对话的过程，来更新系统的状态，并生成相应的系统动作。dm模块包括两个子模块：对话状态追踪(dialogue state tracker，dst)模块5021和对话策略(dialogue policy，dp)模块5022，dst模块根据对话历史，维护当前对话状态，对话状态是对整个对话历史的累积的意图、槽位和关键实体等语义表示；dp模块根据当前对话状态输出下一步对话动作。例如，根据手机100说出来的一段语音得出的文本，智能测试机器人200可以生成对该文本的回应文本。本技术实施例中，上述对话路径的一些示例性初始训练集可以作为该模块的初始训练集。
[0137]
自然语言生成(natural language generation，nlg)模块503：将dm模块输出的对话动作文本化，用文本的形式将对话动作表达出来。
[0138]
可以理解，在一些实施例中，神经网络可以为长短期记忆网络(lstm，long short-term memory)、transformer网络等。本技术实施例，编写能够使测试执行的基本语料作为初始训练集，并在对话模型与智能测试语音助手的交互中不断探索新对话语料加入训练集，迭代式训练对话模型,实现自我提升。
[0139]
在一些实施例中，对话模型可以不断优化。引入基于神经网络的对话模型，通过深度学习模拟用户与语音助手进行交互，并可以通过自我学习不断提升生成对话的质量。具体地，智能测试机器人200将与手机100上的语音助手对话的过程中得出的新生成的对话语料并加入到训练好的对话模型的训练集中，对训练好的对话模型进行迭代式训练，即在每一个对话场景下的样本素材更多，以优化对话模型，提升训练好的对话模型的智能对话能力。新生成的对话语料为与历史生成的对话语料不同的对话语料。确定新对话语料可以通过下面实施例得到。
[0140]
智能测试机器人200记录智能测试机器人200与手机100对话过程中的对话语料；
[0141]
智能测试机器人200将记录的对话语料与智能测试机器人200原有的对话语料进行语料内容匹配，若记录的对话语料与智能测试机器人200原有的对话语料不匹配，则确定记录的对话语料为新的对话语料。
[0142]
此外，在其他一些实施例中，还可以将新的对话语料进行优化，得到优化后的对话语料，将优化后的对话语料加入到训练好的对话模型的训练集中，迭代式对训练好的对话模型进行训练，得到符合预设损失函数的训练好的对话模型。可以理解，优化方式可以为人工去除一些不必要的词汇，调整带有语病的句子等。
[0143]
s402:智能测试机器人200根据对话语料确定对话路径。
[0144]
在一些实施例中，对话路径用于表示手机100上的语音助手应用程序与智能测试机器人200进行对话时对一些容易被理解为其他意图的关键词或表述语音，意图跳转语音，带有多个人称代词的语句等的反应能力。智能测试机器人200获取与手机100一来一往的对话过程产生的对话语料，按照语音发出的时间顺序排列一来一往的对话，形成对话路径，根据对话路径确定智能对话能力。
[0145]
此外，在其他一些实施例中，用对话语料中的语句与特定的测试语音助手应用程序的智能对话能力的水平的语句比较，需要耗费大量的比较时间，而且同一句话有多种不同的表达方式，需要预设足够多的对话路径，才能完成测试语音助手应用程序的智能对话能力的水平的任务，测试工作量大，且在无足够多的预设对话路径的时候，往往因为匹配不到预设对话路径，造成测试不准确。于是，需要根据每句话对应的意图进行测试，即根据对话语料确定意图对话路径，该意图对话路径用于与测试语句关联的预设意图对话路径比较，确定语音助手应用程序的智能对话能力的水平。下面示例性说明通过预设意图对话路径确定语音助手应用程序的智能对话能力的水平的技术方案。
[0146]
根据智能测试机器人200与手机100一来一往的对话过程产生的对话语料，智能测试机器人200解析此对话过程中，智能测试机器人200或手机100说话的意图，即意图对话路径是由基于测试语句和反馈操作生成的一个或者多个意图组成的，以便于方便快捷地将对话路径与预设意图对话路径进行比较。例如，通过意图识别模型识别出每句话的意图，以对话过程文件的形式记录，从对话过程文件中提取按照语音发出的时间顺序排列的一来一往的对话意图形成的意图对话路径，根据意图对话路径确定智能对话能力。语音发出时间的顺序可以为先后顺序，也可以为后先顺序。
[0147]
图6a根据本技术的一些实施例，示出了一种对话路径的结构示意图，如图6a中文本框610所示，智能测试机器人200记录的对话过程文件的内容和格式可以如下面所示：
[0148]
##1593763495883
[0149]
*initial：profile：周五{init_date}；哈尔滨{init_city}；西安{further_inquire_city}；
[0150]-utter_wakeup
[0151]
*wakeup_response：我在。
[0152]-utter_inquire_weather：
[0153]
*inform_weather：[周五]{date}[哈尔滨]{city}的天气很好。
[0154]-utter_further_inquire_city_or_date
[0155]
*inform_weather：[西安]{city}[今天]{date}的天气很好。
[0156]-utter_hesitate_inquire_weather
[0157]
*inform_weather：[今天]{date}[哈尔滨]{city}的天气很好。
[0158]“*”和
“-”
用于区分消息发出方，该对话过程文件，以“*”开头的句子的是手机100上的语音助手的回复意图对应的文本。以
“-”
开头的句子是智能测试机器人200的槽位信息或执行动作对应的文本。“：”后面表示具体的语句，可以以中文格式表示，也可以用英文表示，但不限于于此。“：”前面的内容面表示具体的语句的意图。
[0159]
可以理解，除了图6a所示的格式外，对话过程文件的格式还可以为其他格式，并不限于此。
[0160]
从上述对话过程文件中提取出意图对话路径。例如，如图6a所示的，提取文本框610中框611中的测试语句内容和反馈操作对应反馈语句的意图，将提取出的测试语句内容和反馈操作对应反馈语句的意图按照语音发出时间的先后顺序排列，形成意图对话路径。意图对话路径的内容和格式可以如图6a所示，节点1的内容为*initial，代表手机100的初始化动作意图，例如，开启语音助手应用程序和存储了周五、哈尔滨、西安这些实体词汇。节
点2的内容为-utter_wakeup，代表智能测试机器人200发出意图为唤醒手机100上的语音助手的语句。节点3的内容为*wakeup_response，代表手机100发出回复上述唤醒意图的语句。节点4的内容为-utter_inquire_weather，代表智能测试机器人200发出意图为询问天气的语句。节点5的内容为*inform_weather，代表手机100回复上述意图为询问天气的语句。节点6的内容为-utter_further_inquire_city_or_date，代表智能测试机器人200进一步发出意图为询问其他城市和日期的天气语句。节点7的内容为*inform_weather，代表手机100回复上述意图为询问天气的语句。节点8的内容为-utter_hesitate_inquire_weather，代表智能测试机器人200发出意图为询问天气的犹豫语句。节点9的内容为*inform_weather，代表手机100识别出上述犹豫语句的意图为询问天气，回复上述意图为询问天气的语句。
[0161]
s403:智能测试机器人200通过对话路径和与测试对话中测试语句关联的预设对话路径比较，确定语音助手应用程序的智能对话能力的水平。
[0162]
在每个如订票、购物等特定场景下，手机100与测试机器人200进行对话，对话过程中的每句话对应一个意图，对话过程中的每个意图生成对话路径。此对话路径表现出手机100对测试机器人的反应能力，因此预设对话路径与智能对话能力存在映射关系，从对话路径可以判断出手机100上的语音助手应用程序的智能对话能力。
[0163]
在一些实施例中，智能对话能力包括语义理解能力、行为智能对话能力、兜底表现能力三大类。下面对智能对话能力进行示例性说明，测试智能对话能力水平指标体现在下列至少一项中：
[0164]
1.语义理解能力。
[0165]
(a)复杂意图理解能力。即对语料中包含容易被理解为其他意图的关键词或表述的理解能力；例如，智能测试机器人200对手机100说我想听《我想去拉萨》，手机100应该将上述句子的意图分配给[音乐]，而非[导航]；在手机100将上述句子的意图分配给[导航]的情况下，则判断语音助手应用程序不具备复杂意图理解能力。
[0166]
又如，智能测试机器人200对手机100说“我想明天帮女朋友订一张到上海的火车票，你早上8点半提醒我下抢票”，手机100应该将上述句子的意图分配给[事项提醒]，而非[订火车票]，在手机100将上述句子的意图分配给[订火车票]的情况下，则判断语音助手应用程序不具备复杂意图理解能力。
[0167]
(b)犹豫/停顿正确理解能力。即对用户较长时间的犹豫或停顿能正确理解能力。例如，智能测试机器人200对手机100说我想听
……
嗯，我想想，哦对了，那个周杰伦的青花瓷。手机100应该将上述句子的意图分配给[音乐]，而非[购物]，在手机100将上述句子的意图分配给[购物]的情况下，则判断语音助手应用程序不具备复杂意图理解能力。
[0168]
(c)泛化表述理解能力。即对一个词的多种表达方式的理解能力，例如，智能测试机器人200对手机100说我想吃肯德基或者我想吃kfc,手机100既能理解kfc的意思，也能理解肯德基的意思，在手机100不能理解kfc的意思的情况下，则判断语音助手应用程序不具备泛化表达理解能力。
[0169]
(d)智能填槽能力。即理解用户意图的能力，填槽指的是为了让用户意图转化为用户明确的指令而补全信息的过程。即将用户隐式的意图转化为显示的指令从而让计算机理解。例如，智能测试机器人200说了：“我想订上海的机票”，手机100识别了该段语音的意图为订机票，但是缺少订票时间的槽位信息，于是手机100会问智能测试机器人200：“订票时
间”，如此具备智能填槽能力。
[0170]
2.行为智能对话能力。
[0171]
(a)用户引导能力。即当智能测试机器人200说了一段语音，但是手机100识别不了该段语音的意图，手机100会发出换一种说法的引导；另外当智能测试机器人200说了一段带指令的语音，手机100识别了该段语音的意图，但是手机100不具有该意图对应的功能，就会引导智能测试机器人200发出其他指令的语音，例如，智能测试机器人200说了一段带指令的语音“请帮我播放xx电影”，但是手机100不支持通过语音开视频应用程序播放xx电影，此时手机100的语音应用程序会发出提示和引导语音：“不支持通过语音开视频应用程序播放xx电影，是否选择开启音乐应用程序播放语音”。
[0172]
(b)意图接续/跳转能力。即上一轮话题/任务已经完成，可以在新话题中接续/更改/取消上一个任务的能力。例如，用户：“提醒我明天三点开会”，回复：“好的，闹钟已创建”，用户：“把闹钟改到两点”；上一轮话题/任务未完成，中途跳转新话题，新话题结束后可以回到上一个话题的能力，例如，用户：“帮我订一张去北京的机票”，回复：“明天北京天气如何？”，用户：“明天北京天气晴天，27度”，回复：“明天出发”。
[0173]
(c)指代/上下文推理能力。即同一话题/任务中用户信息的指代推理(第x个，他/她/它)能力。例如，用户：“导航到附近超市”，回复：“找到3个，导航到哪一个？”，用户：“第一个”。或者跨话题/任务的共享上下文推理(时间，地点)能力；例如，回复：“明天北京天气如何？”，用户：“明天北京天气晴天，27度”，回复：“帮我订一张去那里的机票”。
[0174]
(d)显/隐式确认能力。若智能测试机器人200具备显示确认能力，例如，智能测试机器人200发出：“订八点闹钟”的指令，手机100回复：“好的，八点闹钟已创建”；若智能测试机器人200具备隐式确认能力，智能测试机器人200发出订八点闹钟的指令，则手机100会回复：“好的，八点闹钟已创建，再过两小时后会提醒”。
[0175]
(e)收集反馈能力。例如，手机100会向智能测试机器人200说对此轮对话表现满不满意，收集智能测试机器人200的反馈信息。
[0176]
3.兜底表现能力。即如意图识别、带有指令的语音对应的任务完不成的情况下的表现情况。
[0177]
(a)反馈失败原因能力。即如意图识别、带有指令的语音对应的任务完成不了的原因，例如，智能测试机器人200说了一段带指令的语音：“请帮我播放xx电影”，但是手机100不支持通过语音开视频应用程序播放xx电影，此时手机100的语音应用程序会发出播放失败的原因提示语音：“不支持通过语音开视频应用程序播放xx电影”。
[0178]
(b)个性化回复能力。即幽默有趣的回复能力，例如，智能测试机器人200说了一段带指令的语音：“请帮我播放xx电影”，但是手机100不支持通过语音开视频应用程序播放xx电影，此时手机100的语音应用程序会发出回复信息：“臣妾做不到”。
[0179]
本技术实施例中，语音助手应用程序的智能对话能力的水平包括手机100上的语音助手应用程序具备智能对话能力和不具备智能对话能力；语音助手应用程序的智能对话能力的水平也可以包括对手机100上的语音助手应用程序的智能对话能力中的至少一项的评分，或者手机100上的语音助手应用程序的智能对话能力中的多项的综合评分，以便于确定手机100上的语音助手应用程序的智能对话能力的等级，但不限于此。
[0180]
下面示例性说明判断手机100上的语音助手应用程序是否具备上述智能对话能力
的技术方案：
[0181]
在一些实施例中，智能测试机器人200判断对话路径中是否包含与测试语句关联的预设对话路径，若是，则确定手机100上的语音助手应用程序具备预设对话路径对应的智能对话能力。若否，则确定手机100上的语音助手应用程序不具备预设对话路径对应的智能对话能力。在一些实施例中，在确定语音助手应用程序不具备预设对话路径对应的智能对话能力时，在智能测试机器人200的显示屏上显示提示信息，例如，图7根据本技术的一些实施例，示出了一种提示信息。如图7所示，当智能测试机器人200判断手机100上的语音助手没有正确理解意图的关键词或表述，则判断出语音助手应用程序不具备正确理解意图的关键词或表述的能力，在智能测试机器人200的显示屏上显示“语音助手具备正确理解意图的关键词或表述的能力”。
[0182]
此外，在其他一些实施例中，在对话路径为意图对话路径，即按照语音发出的时间顺序排列的测试语句和反馈操作对应的意图的情况下。智能测试机器人200判断意图对话路径中是否包含与测试语句关联的预设对话路径；即智能测试机器人200将意图对话路径中的内容与预设对话路径的内容进行匹配，根据匹配度确定手机100上的语音助手应用程序是否具有对话路径对应的智能对话能力若意图对话路径与预设对话路径匹配，匹配度为100％，则意味着手机100上的语音助手应用程序具有对话路径对应的智能对话能力。若意图对话路径与预设对话路径匹配，匹配度小于100％，则意味着手机100上的语音助手应用程序具有对话路径对应的智能对话能力。
[0183]
可以理解，在一些实施例中，意图对话路径中每个测试语句和反馈操作对应的反馈语句的意图对应一个节点，遍历意图对话路径中的节点的内容，与预设对话路径列表中的节点的内容进行匹配，以判断是否包含与测试语句关联的预设对话路径的内容。例如，通过滑动窗口遍历对话路径中的节点的内容，滑动窗口包含n个节点，滑动步长为m，其中，n为大于2的自然数，m为大于等于1的自然数。
[0184]
如图6a所示，以预设路径为包含节点1的内容为_utter_hesitate_inquire_weather，节点2的内容为inform_weather为例进行阐述。通过可以检测四个节点内容的滑动窗口621遍历意图对话路径620中各节点的内容，得到该意图对话路径620中节点8的内容和节点9的内容与预设路径中的节点1和节点2的内容匹配，则确定判断结果为手机100上的语音助手应用程序具备犹豫/停顿正确理解能力。
[0185]
图6b根据本技术的一些实施例，示出了另一种对话路径的结构示意图，如图6b所示，与图6a的内容不同的是，在智能测试机器人200以犹豫的语句问今天哈尔滨的天气怎么样的时候，手机100回复旅游的意图，因为预设路径包含节点1的内容为_utter_hesitate_inquire_weather，节点2的内容为inform_weather。通过可以检测四个节点内容的滑动窗口621遍历意图对话路径620中各节点的内容，得到该意图对话路径622中节点8的内容和节点9的内容只与预设路径中的节点1的内容匹配，与预设路径中的节点2的内容不匹配，则确定判断结果为手机100上的语音助手应用程序不具备犹豫/停顿正确理解能力。
[0186]
在一些实施例中，判断结果可以以文本形式存储在存储器中。
[0187]
此外，在其他一些实施例中，反馈操作包括在手机100的显示屏上呈现的与反馈语音和/或文本关联的反馈信息，智能测试机器人200通过检测手机100显示反的馈信息或者执行动作确定是否具备智能对话能力。例如，在智能测试机器人200发出打开视频的测试语
句的时候，手机100根据对该测试语句的理解，开启视频应用程序，智能测试机器人200检测到该开启视频应用程序操作，则确定具备语义理解能力。
[0188]
在一些实施例中，与测试语句关联的预设对话路径为根据智能测试机器人200中的测试语句的意图和针对测试语句的设定反馈语句对应的意图得到的。预设意图对话路径可以为按照对话发出的时间顺序排列的表示测试语句意图和设定反馈语句意图组成的文本信息。预设对话路径可以存储在智能测试机器人200中或者智能测试机器人200可以获取预设对话路径的其他存储器中。
[0189]
可以理解，预设对话路径可以为人工编写的；又或者从网页词典、网上文章中摘录的对话语料经过机器或者人的意图识别得到的对话路径；又或者通过训练好的对话模型得到的给定环境下的预设对话语料，测试机器人200或者人通过对对话语料进行意图识别，得到预设对话语料对应的预设意图对话路径。
[0190]
在每个测试模型的每个对话单元中，都会包含语义理解能力、行为智能对话能力、兜底表现能力中的某一测试点，每个测试点都有其对应的分值。下面示例性说明对手机100上的语音助手应用程序进行评分的技术方案：
[0191]
可以理解，在一些实施例中，可以得到手机100上的语音助手应用程序对应的智能对话能力中的至少一项智能对话能力对应的预设分数，以用于对手机100上的语音助手应用程序具有智能对话能力进行综合评分，或者对智能对话能力中的多项智能对话能力对应的预设分数得到具备多项智能对话能力的总评分。
[0192]
语音助手应用程序的智能对话能力的水平还可以为对语音助手应用程序的智能对话能力进行评分，得到预设意图对话路径对应的智能对话能力得预设分数。预设意图对话路径中包含多种路径，基于多种意图对话路径中的每个路径通过滑动窗口遍历意图对话路径中节点的内容，若识别到意图对话路径中的包含多种意图对话路径中的一个路径，则具备该路径对应的智能对话能力。预设路径中的每个路径的分值可以相同，也可以不同。若识别到意图对话路径中的不包含预设路径，则表示手机100上的语音助手应用程序不具备预设意图对话路径对应的智能对话能力，智能对话能力评分较低，例如得分为零。
[0193]
例如，基于图4的内容继续阐述，以智能对话能力为意图接续能力为例，智能测试机器人200在进行意图接续能力测试的时候，会在对话路径中设置关键问题(key_question)。例如，key_question＝“utter_inquire_weather”，此等式用于表示关键问题的值(关键词)为utter_inquire_weather，用于此关键问题对应的意图接续能力的开始，在智能测试机器人200检查到此关键问题对应的关键词后，则进一步对是否具备意图接续能力及是否得分进行判断，否则输出
‘-’
，表示对话语料中不存在此关键点，不计分。在进行是否得分进行判断的情况下，基于预设路径中的全部路径遍历对话语料对应的整组对话路径，得到智能对话能力测试结果。
[0194]
下面示例性说明一个预设路径中的全部路径内容和格式:
[0195]
intention_continue_path＝{“0”}＝[“utter_inquire_weather”]
[0196]
intention_continue_path＝{“1”}＝[“inform_weather”]
[0197]
intention_continue_path＝{“2”}＝
[0198]
[“utter_further_inquire_city_or_date”]
[0199]
intention_continue_path＝{“3”}＝[“inform_weather”]
[0200]
基于上述预设路径的示例，若一个对话语料的对话路径内容与path[0]到path[3]等式右边的内容相同，属于具备意图接续能力，得2分。
[0201]
下面为示例性说明智能对话能力和具有该智能对话能力对应的得分(预设分数)。
[0202][0203][0204]
具体的，可以理解，在一些实施例中，可以通过评分脚本测试手机100上的语音助手表现出的智能对话能力，评分脚本为使用一种特定的描述性语言，依据一定的格式编写的可执行文件，该可执行文件用于对对话语料进行评分。例如，记录对话模型与智能测试语音助手的对话语料，通过评分脚本对语音助手应用程序表现出的智能测试行为(如意图接续/跳转、指代/上下文推理)自动化评分。除此之外，还可以有其他机器语言。
[0205]
本技术实施例主要应用在语音助手的测试与评估。业界目前并未形成关于语音助手智能测试程度方面较为全面的测试/评估体系，本技术实施例主要针对语音助手的意图识别能力与多轮对话场景下的上下文处理能力(如意图接续/跳转、指代/上下文推理)进行自动化的测试与评估，从一定程度上补充了业界在此方面测试方法上的缺失。
[0206]
本技术实施例的优点：自动生成测试语料与用例，模拟用户与智能测试语音助手对话，达到对测试场景与分支的覆盖。
[0207]
解决语料只能按固定顺序播放给语音助手的限制，可以根据语音助手的反馈自动生成合理的回复，达到与语音助手的拟人化交互。
[0208]
具有自学习能力，生成语料/用例的质量和多样性可以随着与智能测试语音助手的交互进行自我提升。
[0209]
对智能测试语音助手意图识别能力、多轮对话场景下的上下文处理能力(如意图接续/跳转、指代/上下文推理)进行自动化评估。
[0210]
实施例二：
[0211]
实施例二与实施例一的区别之处在于，使用基于深度学习的评分模型代替对话路径匹配，对对话语料进行智能对话能力自动识别及打分，下面示例性说明实施例二的技术方案。
[0212]
图8根据本技术的一些实施例，示出了一种语音助手应用程序的智能对话能力的流程示意图。如图8所示：
[0213]
在进行语音助手应用程序的智能对话能力测试时，需要运行语音助手应用程序，即触发手机100中安装的语音助手应用程序的开启，手机100运行语音助手应用程序，能够接收外界传递的语言，并且能对从外界接收的语言进行回应。
[0214]
触发语音助手应用程序的方法可以是如图1a所示的通过点击图标控件“语音助手”，也可以通过特定的语音来唤醒。
[0215]
s801:智能测试机器人200与手机100上的语音助手应用程序进行测试对话，智能测试机器人200记载对话语料。
[0216]
该步骤与s402类似，在此不再赘述。
[0217]
s802:智能测试机器人200将对话语料输入智能对话能力测评模型，基于智能对话能力测评模型确定语音助手应用程序的智能对话能力的水平。
[0218]
在一些实施例中，智能对话能力的水平包括不具备智能对话能力或者具备智能对话能力。此外，在其他一些实施例中，还可以包括具备每项智能对话能力对应的评分，或者具备每项智能对话能力对应的评分以及具备的每项智能对话能力的总评分。
[0219]
下面示例性说明智能对话能力测评模型，图9a根据本技术的一些实施例，示出了一种智能对话能力测评模型的训练过程示意图，如图9a所示，在训练阶段，将对话语料数据、智能对话能力标签数据和得分标签数据输入智能对话能力测评模型900进行训练，得到符合预设损失函数条件的智能对话能力测评模型900，可以理解，在一些实施例中，若真实得分与通过智能对话能力测评模型预测的得分的差值小于预设差值，则判断出符合预设损失函数条件。
[0220]
智能对话能力测评模型900可以为基于神经网络(如rnn、transformer)的评分模型。可以理解，对话语料数据、智能对话能力标签数据和得分标签数据可以为通过实施例一得到的训练数据，也可以为其他方式得到的，例如人工标注。该训练过程可以如图1c所示，在智能测试机器人200上训练，也可以如图1d所示，在模型训练设备300上训练。
[0221]
图9b根据本技术的一些实施例，示出了一种智能对话能力测评模型的应用过程示意图，如图9b所示，在应用阶段，使用智能对话能力测评模型900，输入对话语料，通过智能对话能力测评模型900得到如是否具备智能对话能力以及具备智能对话能力对应的得分的能力测试结果。
[0222]
本技术实施例，在智能测试语音助手的测试中，通过基于深度学习的对话模型生成对话行为，覆盖各种场景与分支。
[0223]
图10根据本技术的一些实施例，示出了一种能够实现语音助手应用程序的智能对话能力测试功能的手机100的结构框图。具体地，如图10所示，手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块180，扬声器180a，受话器180b，麦克风180c，耳机接口180d，传感器模块180，按键190，马达197，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距
离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
[0224]
可以理解，本技术实施例示意的结构并不构成对手机100的具体限定。在本技术另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0225]
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110可以根据对话语料中的意图对话路径确定手机100上的语音助手应用程序是否具备预设对话路径对应的智能对话能力。
[0226]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0227]
处理器110中还可以设置存储器，用于存储指令和数据。例如，处理器110可以存储对话语料、意图对话路径、预设意图对话路径等数据，在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
[0228]
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0229]
micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为手机100充电，也可以用于手机100与外围设备之间传输数据，例如，传输用户的ppg数据和ecg数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0230]
可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机100的结构限定。在本技术另一些实施例中，手机100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0231]
充电管理模块140用于从充电器接收充电输入。电源管理模块147用于连接电池142，充电管理模块140与处理器180。电源管理模块148接收电池142和/或充电管理模块140的输入，为处理器180，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块148还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器180中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0232]
手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
[0233]
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0234]
移动通信模块150可以提供应用在手机100上的包括2g/3g/4g/5g等无线通信的解决方案。无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0235]
在一些实施例中，手机100能够通过移动通信模块150或者无线通信模块160与智能测试机器人200进行通信连接。
[0236]
在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0237]
手机100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0238]
手机100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。在本技术的一些实施例中，显示屏194用于实现和用户的人机交互。
[0239]
外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将用户的ecg数据和ppg数据保存在外部存储卡中。
[0240]
内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以
包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行手机100的各种功能应用以及数据处理。
[0241]
手机100可以通过音频模块180，扬声器180a，受话器180b，麦克风180c，耳机接口180d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0242]
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入，产生与手机100的用户设置以及功能控制有关的键信号输入。
[0243]
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0244]
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0245]
sim卡接口195用于连接sim卡。
[0246]
现参考图11，手机100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的android系统为例，示例性说明终端设备的软件结构。图11根据本技术一些实施例，示出了手机100的软件结构框图。
[0247]
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。
[0248]
应用程序层可以包括一系列应用程序包。
[0249]
如图11所示，应用程序包可以包括语音助手应用程序、电话、相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
[0250]
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
[0251]
如图11所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
[0252]
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
[0253]
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
[0254]
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
[0255]
电话管理器用于提供终端设备的通信功能。例如通话状态的管理(包括接通，挂断等)。
[0256]
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，
视频文件等等。
[0257]
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。
[0258]
android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
[0259]
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
[0260]
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
[0261]
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
[0262]
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
[0263]
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：mpeg4,h.264,mp3,aac,amr,jpg,png等。
[0264]
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
[0265]
2d图形引擎是2d绘图的绘图引擎。
[0266]
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
[0267]
在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
[0268]
本公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括由被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中，诸如，但不限于任何类型的盘，包括软盘、光盘、cd-rom、磁光盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁或光卡、专用集成电路(asic)或者适于存储电子指令的任何类型的介质，并且每个可以被耦合到计算机系统总线。此外，说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。
[0269]
本文所提出的过程和显示器固有地不涉及任何具体计算机或其他装置。各种通用系统也可以与根据本文中的教导的程序一起使用，或者构造更多专用装置以执行一个或多个方法步骤可以证明是方便的。在一下描述中讨论了用于各种这些系统的结构。另外，可以使用足以实现本公开的技术和实施方案的任何具体编程语言。各种编程语言可以被用于实施本公开，如本文所讨论的。
[0270]
另外，在本说明书所使用的的语言已经主要被选择用于可读性和指导性的目的并
且可能未被选择为描绘或限制所公开的主题。因此，本公开旨在说明而非限制本文所讨论的概念的范围。