外呼测试方法、装置、计算机设备和计算机可读存储介质与流程

1.本发明涉及人工智能技术领域，特别是涉及一种外呼测试方法、装置、计算机设备和计算机可读存储介质。


背景技术：

2.随着人工智能技术的快速发展，采用外呼机器人替代人工对外呼终端进行外呼已越来越普遍，外呼机器人在产品宣传、产品销售和售后管理等方面起着越来越重要的作用。
3.目前，在外呼过程中，外呼机器人常常会出现自动外呼流程异常的情况，这样，外呼机器人则无法与外呼对象顺畅沟通，从而导致外呼机器人的外呼成功率较低。
4.鉴于此，如何对外呼机器人在外呼过程中的自动外呼流程正常与否进行有效检测，以提升外呼机器人的外呼成功率，成为目前亟待解决的问题。


技术实现要素：

5.基于此，提供一种能够对自动外呼过程中的自动外呼流程正常与否进行有效检测的外呼测试方法、装置、计算机设备和计算机可读存储介质。
6.第一方面，本技术实施例提供了一种外呼测试方法，所述方法包括：
7.获取针对目标外呼场景的外呼测试任务，所述外呼测试任务包括配置信息；
8.根据所述配置信息，获取所述外呼测试任务对应的测试样本，其中，所述测试样本与所述目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，所述测试样本包括样本测试语句和所述样本测试语句对应的样本答复；
9.基于所述样本测试语句，获取外呼组件反馈的针对所述样本测试语句的目标答复，并将所述样本答复和所述目标答复进行比较，得到外呼测试结果，所述外呼测试结果用于表征所述目标外呼场景的自动外呼流程是否正常。
10.在其中一个实施例中，所述将所述样本答复和所述目标答复进行比较，得到外呼测试结果，包括：
11.确定所述样本答复对应的样本文本以及所述目标答复对应的目标文本；
12.检测所述样本文本和所述目标文本是否相同，并根据检测结果获取所述外呼测试结果。
13.在其中一个实施例中，所述获取针对目标外呼场景的外呼测试任务，包括：
14.按照预设的时间周期，在数据库中检测针对所述目标外呼场景的候选测试任务，并确定所述候选测试任务的任务状态标签；
15.若所述任务状态标签为第一预设状态标签，则将所述候选测试任务作为所述外呼测试任务。
16.在其中一个实施例中，所述将所述样本答复和所述目标答复进行比较，得到外呼测试结果之后，还包括：
17.在数据库中将所述外呼测试任务的所述任务状态标签修改为第二预设状态标签，
所述第二预设状态标签与所述第一预设状态标签表征不同的任务状态。
18.在其中一个实施例中，所述方法还包括：
19.展示任务界面，所述任务界面包括任务创建控件；
20.基于所述任务创建控件，获取针对所述候选测试任务的候选配置信息，并根据所述候选配置信息，在数据库中生成所述候选测试任务。
21.在其中一个实施例中，所述将所述样本答复和所述目标答复进行比较，得到外呼测试结果之后，还包括：
22.在任务界面中将所述外呼测试结果对应于所述外呼测试任务进行展示。
23.在其中一个实施例中，所述方法还包括：
24.展示样本管理页面，所述样本管理页面包括样本创建控件；
25.基于所述样本创建控件，获取所述测试样本，并将所述测试样本存储于数据库中。
26.在其中一个实施例中，所述样本管理页面还包括样本处理控件，所述将所述测试样本存储于数据库中之后，还包括：
27.基于所述样本处理控件获取针对所述测试样本的处理指令；
28.响应于所述处理指令，对所述测试样本进行预设处理，所述预设处理包括将所述测试样本转存至预设存储位置、从数据库中删除所述测试样本以及在所述样本管理页面中展示所述测试样本中的至少一种。
29.第二方面，本技术实施例提供一种外呼测试装置，所述装置包括：
30.第一获取模块，用于获取针对目标外呼场景的外呼测试任务，所述外呼测试任务包括配置信息；
31.第二获取模块，用于根据所述配置信息，获取所述外呼测试任务对应的测试样本，其中，所述测试样本与所述目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，所述测试样本包括样本测试语句和所述样本测试语句对应的样本答复；
32.测试模块，用于基于所述样本测试语句，获取外呼组件反馈的针对所述样本测试语句的目标答复，并将所述样本答复和所述目标答复进行比较，得到外呼测试结果，所述外呼测试结果用于表征所述目标外呼场景的自动外呼流程是否正常。
33.在其中一个实施例中，所述测试模块，包括：
34.确定单元，用于确定所述样本答复对应的样本文本以及所述目标答复对应的目标文本；
35.测试单元，用于检测所述样本文本和所述目标文本是否相同，并根据检测结果获取所述外呼测试结果。
36.在其中一个实施例中，所述第一获取模块具体用于按照预设的时间周期，在数据库中检测针对所述目标外呼场景的候选测试任务，并确定所述候选测试任务的任务状态标签；若所述任务状态标签为第一预设状态标签，则将所述候选测试任务作为所述外呼测试任务。
37.在其中一个实施例中，所述装置还包括：
38.标签配置模块，用于在数据库中将所述外呼测试任务的所述任务状态标签修改为第二预设状态标签，所述第二预设状态标签与所述第一预设状态标签表征不同的任务状态。
39.在其中一个实施例中，所述装置还包括：
40.第一展示模块，用于展示任务界面，所述任务界面包括任务创建控件；
41.第三获取模块，用于基于所述任务创建控件，获取针对所述候选测试任务的候选配置信息，并根据所述候选配置信息，在数据库中生成所述候选测试任务。
42.在其中一个实施例中，所述装置还包括：
43.第二展示模块，用于在任务界面中将所述外呼测试结果对应于所述外呼测试任务进行展示。
44.在其中一个实施例中，所述装置还包括：
45.第三展示模块，用于展示样本管理页面，所述样本管理页面包括样本创建控件；
46.样本存储模块，用于基于所述样本创建控件，获取所述测试样本，并将所述测试样本存储于数据库中。
47.在其中一个实施例中，所述装置还包括：
48.指令获取模块，用于基于所述样本处理控件获取针对所述测试样本的处理指令；
49.处理模块，用于响应于所述处理指令，对所述测试样本进行预设处理，所述预设处理包括将所述测试样本转存至预设存储位置、从数据库中删除所述测试样本以及在所述样本管理页面中展示所述测试样本中的至少一种。
50.第三方面，本技术实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上述第一方面的方法的步骤。
51.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
52.本技术实施例提供的技术方案带来的有益效果至少包括：
53.通过获取针对目标外呼场景的外呼测试任务，该外呼测试任务包括配置信息，而后，根据配置信息获取外呼测试任务对应的测试样本，该测试样本与目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，测试样本包括样本测试语句和样本测试语句对应的样本答复，样本答复即为样本测试语句对应的标准答复，这样，基于样本测试语句获取外呼组件(如外呼机器人)反馈的针对样本测试语句的目标答复，并将样本答复和目标答复进行比较得到外呼测试结果，若该外呼测试结果为样本答复和目标答复相同，则表征外呼组件能够正常反馈样本测试语句对应的标准答复，即目标外呼场景的自动外呼流程正常；若该外呼测试结果为样本答复和目标答复不同，则表征外呼组件无法正常反馈样本测试语句对应的标准答复，外呼组件存在答复反馈错误的情况，即目标外呼场景的自动外呼流程存在异常,这样，则实现了对外呼组件在自动外呼过程中的自动外呼流程正常与否的有效检测，从而有利于在自动外呼流程存在异常的情况下及时进行维护修复，以提升外呼组件的外呼成功率。
附图说明
54.图1
‑
a为一个实施例提供的外呼测试方法的应用环境图；
55.图1
‑
b为另一个实施例提供的外呼测试方法的应用环境图；
56.图2为一个实施例提供的外呼测试方法的流程示意图；
57.图3为另一个实施例提供的一种示例性地催收场景的自动外呼流程的流程示意
图；
58.图4为另一个实施例提供的获取外呼测试结果的流程示意图；
59.图5为另一个实施例提供的外呼测试方法的流程示意图；
60.图6为另一个实施例提供的外呼测试方法的流程示意图；
61.图7为另一个实施例提供的外呼测试方法的流程示意图；
62.图8为另一个实施例提供的一种示例性地任务界面的示意图；
63.图9为另一个实施例提供的外呼测试方法的流程示意图；
64.图10为另一个实施例提供的获取测试样本的流程示意图；
65.图11为另一个实施例提供的一种示例性的样本管理页面的示意图；
66.图12为另一个实施例提供的一种示例性地外呼场景对应的测试样本的示意图；
67.图13为一个实施例提供的外呼测试装置的结构框图；
68.图14为一个实施例提供的计算机设备的内部结构图。
具体实施方式
69.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
70.本技术实施例提供的外呼测试方法、装置、计算机设备和计算机可读存储介质，旨在解决传统技术中，在外呼过程中外呼机器人常常出现自动外呼流程异常的情况，导致外呼机器人的外呼成功率较低的技术问题。下面将通过实施例并结合附图具体地对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体地实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
71.下面结合本技术实施例所应用的场景，对本技术实施例涉及的技术方案进行介绍。
72.图1
‑
a为本技术实施例提供的外呼测试方法所涉及到的一种实施环境的示意图。如图1
‑
a所示，该实施环境可以包括计算机设备101，计算机设备101可以为智能手机、平板电脑、个人计算机、笔记本电脑、车载设备，等等，外呼组件作为软件组件可以部署在计算机设备101中。
73.在图1
‑
a所示的实施环境中，计算机设备101可以获取针对目标外呼场景的外呼测试任务，外呼测试任务包括配置信息，而后，计算机设备101可以根据配置信息获取外呼测试任务对应的测试样本，其中，测试样本与目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，测试样本包括样本测试语句和样本测试语句对应的样本答复，接着，计算机设备101可以基于样本测试语句，获取外呼组件反馈的针对样本测试语句的目标答复，并将样本答复和目标答复进行比较，得到外呼测试结果，外呼测试结果用于表征目标外呼场景的自动外呼流程是否正常。
74.图1
‑
b为本技术实施例提供的外呼测试方法所涉及到的另一种实施环境的示意图。如图1
‑
b所示，该实施环境还可以包括计算机设备101和外呼设备102，计算机设备101和外呼设备102之间可以通过有线网络或无线网络进行通信。
75.其中，计算机设备101可以为智能手机、平板电脑、个人计算机、笔记本电脑、车载
设备等；外呼设备102可以是聊天机器人、会话服务器等，外呼组件作为软件组件可以部署在外呼设备102中，当然，外呼组件也可以是硬件组件，例如，外呼组件可以是外呼设备102。
76.在图1
‑
b所示的实施环境中，计算机设备101可以获取针对目标外呼场景的外呼测试任务，外呼测试任务包括配置信息，而后，计算机设备101可以根据配置信息，获取外呼测试任务对应的测试样本，其中，测试样本与目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，测试样本包括样本测试语句和样本测试语句对应的样本答复，接着，计算机设备101可以将样本测试语句发送至外呼设备102，由外呼设备102向计算机设备101反馈针对样本测试语句的目标答复，计算机设备101将样本答复和目标答复进行比较，得到外呼测试结果，外呼测试结果用于表征目标外呼场景的自动外呼流程是否正常。
77.在一个实施例中，如图2所示，提供了一种外呼测试方法，以该方法应用于图1
‑
b中的计算机设备101为例进行说明，包括以下步骤：
78.步骤201，计算机设备获取针对目标外呼场景的外呼测试任务。
79.目前，自动外呼在很多行业的不同业务场景中均具有广泛地应用，例如，在金融科技领域，金融机构可以通过外呼系统对外呼对象进行催收，在电商领域，电商平台可以通过外呼系统对外呼对象进行满意度回访，等等。本技术实施例中，目标外呼场景可以是任意采用自动外呼的业务场景，例如，目标外呼场景为金融科技领域的催收场景，等等。
80.通常情况下，各外呼场景均具有其对应的自动外呼流程，自动外呼流程可以包括多个外呼节点，每个外呼节点具有对应的跳转条件以及外呼组件的标准答复，即，在基于自动外呼流程对外呼对象进行外呼的过程中，若该外呼对象的对话语句符合外呼节点对应的跳转条件，正常情况下，应该采用外呼节点对应的标准答复回复外呼对象。
81.例如，以催收场景为例，参见图3，图3为一种示例性地催收场景的自动外呼流程的流程示意图。如图3所示，自动外呼流程的多个外呼节点可以包括“1.1开头语”、“2.1再次确认身份”、“3.1说明来电原因”，等等。假设，在外呼节点“2.1再次确认身份”向外呼对象再次确认身份后，若外呼对象的对话语句满足下一外呼节点“3.1说明来电原因”对应的跳转条件“是本人”，则需要采用外呼节点“3.1说明来电原因”对应的标准答复回复外呼对象，标准答复例如“您好，您在a银行尾号1的信用卡已经逾期，账单金额为a元，最低还款b元，请问您能在今天晚上8点前还清这笔欠款吗”。
82.但是，在实际应用过程中，常常存在对外呼对象的对话语句所包含的意图或语义识别错误、跳转条件匹配错误等情况，导致外呼组件无法正常反馈外呼节点的标准答复，即外呼组件存在答复反馈错误的情况，从而导致自动外呼流程异常，外呼组件的外呼成功率较低。
83.鉴于此，本技术实施例中，可以对目标外呼场景配置外呼测试任务，计算机设备作为外呼管理平台，可以基于该外呼测试任务，自动测试外呼组件对目标外呼场景的自动外呼流程中的一个或多个外呼节点是否存在答复反馈错误的情况，即测试目标外呼场景的该自动外呼流程是否正常。
84.在一种可能的实施方式中，该外呼测试任务可以是测试人员基于计算机设备展示的任务界面人工配置的，当然，外呼测试任务也可以是计算机设备基于预设的任务配置策略自行生成的，在此对外呼测试任务的配置方式不做具体限制。
85.步骤202，计算机设备根据配置信息，获取外呼测试任务对应的测试样本。
86.本技术实施例中，外呼测试任务包括配置信息，该配置信息可以包括该外呼测试任务对应的测试样本的样本标识，这样，计算机设备根据该样本标识，即可在数据库中拉取该样本标识对应的测试样本。
87.其中，测试样本与目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，测试样本包括样本测试语句和样本测试语句对应的样本答复，也即，测试样本包括的样本测试语句和样本答复的数量均可以是多个，对于自动外呼流程中的每个外呼节点，测试样本中均可以包括与其对应的样本测试语句和该样本测试语句对应的样本答复。
88.在一种可能的实施方式中，对于一个外呼节点，测试样本中包括的该外呼节点的样本测试语句可以与该外呼节点对应的跳转条件对应，例如，请继续参见图3，外呼节点“3.1说明来电原因”对应的跳转条件“是本人”，则该外呼节点对应的样本测试语句可以是“是我”、“我是”、“我是xxx”，等等，也即，该样本测试语句所包含的意图或语义满足该外呼节点对应的跳转条件即可；该样本测试语句对应的样本答复即该外呼节点对应的标准答复，外呼节点“3.1说明来电原因”对应的标准答复如“您好，您在a银行尾号1的信用卡已经逾期，账单金额为a元，最低还款b元，请问您能在今天晚上8点前还清这笔欠款吗”。
89.步骤203，计算机设备基于样本测试语句，获取外呼组件反馈的针对样本测试语句的目标答复，并将样本答复和目标答复进行比较，得到外呼测试结果。
90.这样，计算机设备获取到测试样本，即可基于样本测试语句获取外呼组件反馈的针对该样本测试语句的目标答复。其中，对于每个样本测试语句，计算机设备可以调用外呼组件的测试接口，进行一轮测试，测试得到外呼组件反馈的针对样本测试语句的目标答复。
91.以下，对计算机设备进行一轮测试的过程进行介绍。
92.在一种可能的实施方式中，计算机设备可以向图1
‑
b所示的外呼设备(该外呼设备部署有外呼组件，或者该外呼设备即为外呼组件)发送测试请求，并将样本测试语句携带于测试请求发送至外呼设备，由外呼设备对样本测试语句所包含的意图或语义进行识别，并查询识别结果对应的目标答复反馈至计算机设备。
93.在另一种可能的实施方式中，计算机设备也可以先对样本测试语句所包含的意图或语义进行识别，得到识别结果，计算机设备将识别结果携带于测试请求发送至外呼设备，再由外呼设备查询识别结果对应的目标答复反馈至计算机设备。
94.计算机设备获取到外呼组件反馈的针对样本测试语句的目标答复之后，将样本答复和目标答复进行一致性比较，得到外呼测试结果，外呼测试结果用于表征目标外呼场景的自动外呼流程是否正常。
95.对于每轮测试，若外呼测试结果为样本答复和目标答复相同，则表征外呼组件能够正常反馈样本测试语句对应的标准答复，即目标外呼场景的自动外呼流程正常；若某一轮或者多轮测试的外呼测试结果为样本答复和目标答复不同，则表征外呼组件无法完全正常地反馈样本测试语句对应的标准答复，外呼组件存在答复反馈错误的情况，即目标外呼场景的自动外呼流程存在异常。
96.上述实施例通过获取针对目标外呼场景的外呼测试任务，该外呼测试任务包括配置信息，而后，根据配置信息获取外呼测试任务对应的测试样本，该测试样本与目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，测试样本包括样本测试语句和样本测试语句对应的样本答复，样本答复即为样本测试语句对应的标准答复，这样，基于样本测试语
句获取外呼组件(如外呼机器人)反馈的针对样本测试语句的目标答复，并将样本答复和目标答复进行比较得到外呼测试结果，若该外呼测试结果为样本答复和目标答复相同，则表征外呼组件能够正常反馈样本测试语句对应的标准答复，即目标外呼场景的自动外呼流程正常；若该外呼测试结果为样本答复和目标答复不同，则表征外呼组件无法正常反馈样本测试语句对应的标准答复，外呼组件存在答复反馈错误的情况，即目标外呼场景的自动外呼流程存在异常。这样，则实现了对外呼组件的自动外呼过程中的自动外呼流程正常与否的有效检测，从而有利于在自动外呼流程存在异常的情况下及时进行维护修复，以提升外呼组件的外呼成功率。
97.在一个实施例中，基于图2所示的实施例，参见图4，本实施例涉及的是计算机设备如何将样本答复和目标答复进行比较得到外呼测试结果的过程。如图4所示，该过程包括步骤401和步骤402：
98.步骤401，计算机设备确定样本答复对应的样本文本以及目标答复对应的目标文本。
99.在一种可能的实施方式中，样本答复和目标答复可以是文本形式，这样，计算机设备则将样本答复作为样本文本，并将目标答复作为目标文本。需要说明的是，基于文本形式的答复回复外呼对象时，可以先对文本形式的答复进行语音合成得到答复语音，再通过答复语音回复外呼对象。
100.在另一种可能的实施方式中，样本答复和目标答复也可以为语音形式，这样，计算机设备对样本答复和目标答复分别进行语音识别，则得到样本答复对应的样本文本以及目标答复对应的目标文本。
101.步骤402，计算机设备检测样本文本和目标文本是否相同，并根据检测结果获取外呼测试结果。
102.若样本文本和目标文本相同，则表征样本答复和目标答复相同，计算机设备则确定外呼组件能够正常反馈样本测试语句对应的标准答复，即目标外呼场景的自动外呼流程正常；若样本文本和目标文本不同，则表征样本答复和目标答复不同，计算机设备则确定外呼组件无法正常反馈样本测试语句对应的标准答复，外呼组件存在答复反馈错误的情况，即目标外呼场景的自动外呼流程存在异常。这样，则实现了对外呼组件的自动外呼过程中的自动外呼流程正常与否的有效检测。
103.在一个实施例中，基于图2所示的实施例，参见图5，本实施例涉及的是计算机设备如何获取针对目标外呼场景的外呼测试任务的过程。如图5所示，步骤201包括图5所示的步骤2011和步骤2012：
104.步骤2011，计算机设备按照预设的时间周期，在数据库中检测针对目标外呼场景的候选测试任务，并确定候选测试任务的任务状态标签。
105.计算机设备中可以设置任务定时器，通过任务定时器定时触发计算机设备在数据库中扫描针对目标外呼场景的候选测试任务，计算机设备扫描到候选测试任务之后，识别候选测试任务的任务状态标签，该任务状态标签可以是“任务未执行”、“任务执行中”或者“任务已执行”等。
106.步骤2012，若任务状态标签为第一预设状态标签，计算机设备则将候选测试任务作为外呼测试任务。
107.若候选测试任务的任务状态标签为第一预设状态标签，该第一预设状态标签可以表征该候选测试任务未被计算机设备执行，该第一预设状态标签例如可以是“任务未执行”，计算机设备则将该候选测试任务作为外呼测试任务。
108.作为一种实施方式，计算机设备获取到新建的候选测试任务之后，则可以对新建的候选测试任务添加第一预设状态标签，以通过第一预设状态标签标记新建的候选测试任务未被计算机执行，这样，计算机设备通过任务状态标签即可快速区分测试任务的任务状态，有利于计算机设备快速确定未被计算机执行的外呼测试任务，提升计算机设备获取外呼测试任务的速度，从而提升外呼测试的整体效率。
109.在一个实施例中，基于图5所示的实施例，参见图6，本实施例外呼测试方法中，步骤203之后还包括步骤204：
110.步骤204，计算机设备在数据库中将外呼测试任务的任务状态标签修改为第二预设状态标签。
111.其中，第二预设状态标签与第一预设状态标签表征不同的任务状态。
112.计算机设备基于样本测试语句，获取外呼组件反馈的针对样本测试语句的目标答复，并将样本答复和目标答复进行比较，得到外呼测试结果之后，即计算机设备对外呼测试任务执行完毕之后，在数据库中将外呼测试任务的任务状态标签修改为第二预设状态标签，第二预设状态标签可以是表征该外呼测试任务已被计算机设备执行，第二预设状态标签例如可以是“任务已执行”。
113.这样，对于数据库中的测试任务，计算机设备通过任务状态标签即可快速区分测试任务的任务状态，有利于计算机设备方便地对不同任务状态的测试任务进行分类管理。
114.在一个实施例中，基于图5所示的实施例，参见图7，本实施例涉及的是计算机设备如何生成候选测试任务的过程。如图7所示，该过程包括步骤2051和步骤2052：
115.步骤2051，计算机设备展示任务界面。
116.本技术实施例中，在需要新增候选测试任务的情况下，计算机设备可以展示任务界面，该任务界面包括任务创建控件。
117.参见图8，图8为一种示例性地任务界面的示意图，任务创建控件例如可以是该任务界面中右上角展示的“新建任务”的按钮。
118.步骤2052，计算机设备基于任务创建控件，获取针对候选测试任务的候选配置信息，并根据候选配置信息，在数据库中生成候选测试任务。
119.运维人员点击任务创建控件之后，则可以选择计算机设备已经保存的测试样本，输入候选配置信息，该候选配置信息可以是候选测试任务对应的测试样本的样本标识，这样，计算机设备则基于该候选配置信息，在数据库中生成一条测试任务记录，该测试任务记录可以包括该候选配置信息和候选测试任务的任务状态标签(任务状态标签为第一预设状态标签，第一预设状态标签如“任务未执行”)，该测试任务记录即为候选测试任务。
120.这样，计算机设备在需要执行待执行的外呼测试任务的情况下，则按照预设的时间周期，在数据库中检测任务状态标签为第一预设状态标签的候选测试任务，并将任务状态标签为第一预设状态标签的候选测试任务作为外呼测试任务进行外呼测试过程。
121.在一个实施例中，基于图2所示的实施例，参见图9，本实施例涉及的是计算机设备展示外呼测试结果的过程。如图9所示，本实施例外呼测试方法还包括步骤206：
122.步骤206，计算机设备在任务界面中将外呼测试结果对应于外呼测试任务进行展示。
123.外呼测试结果可以是目标外呼场景的自动外呼流程的状态正常，或者，目标外呼场景的自动外呼流程的状态异常，计算机设备可以在任务界面中展示外呼测试任务的外呼测试结果，供运维人员查看。
124.示例性地，请继续参见图8，计算机设备可以在图8所示的任务界面中展示外呼测试任务“会话批测
‑
20210615202539”对应的外呼测试结果“异常”，这样，运维人员则可以直观查看该外呼测试结果。
125.可选地，计算机设备还可以在任务界面中展示外呼测试任务的任务完成时间、外呼测试任务重新执行触发控件等信息，以供运维人员了解外呼测试任务更全面的信息，以及更加灵活地进行外呼测试。
126.可选地，计算机设备得到外呼测试结果之后，还可以将外呼测试结果与预设的样本预期输出进行对比分析，再对分析结果进行分类和统计，并将得到的统计结果上传至文件服务器上以提供下载。计算机设备还可以在任务界面中展示统计结果导出控件，以供运维人员导出统计结果，该统计结果可以包括目标外呼场景的自动外呼流程中各外呼节点跳转错误与否的统计、各外呼节点对应的样本测试语句所包含的意图或语义识别错误与否的统计、各外呼节点对应的测试结果的分析以及自动外呼流程是否正常的整体结果分析，等等。
127.这样，计算机设备通过任务界面，可以将外呼测试结果直观地进行展示，便于运维人员及时了解外呼测试结果，从而有利于在自动外呼流程存在异常的情况下及时进行维护修复，以提升外呼组件的外呼成功率。
128.在一个实施例中，基于图2所示的实施例，参见图10，本实施例涉及的是计算机设备如何获取测试样本的过程。如图10所示，该过程包括步骤2071和步骤2072：
129.步骤2071，计算机设备展示样本管理页面。
130.本技术实施例中，计算机设备可以展示样本管理页面，样本管理页面包括样本创建控件，供运维人员基于样本创建控件输入测试样本。
131.示例性地，参见图11，图11为一种示例性的样本管理页面的示意图，该样本管理页面包括样本创建控件，样本创建控件如图11右上角所示的“创建样本集”按钮，运维人员点击样本创建控件即可创建针对各外呼场景的测试样本。
132.其中，各外呼场景的测试样本可以是样本集合的形式，其可以包含多个样本测试语句和多个样本答复。参见图12，图12为一种示例性地一个外呼场景对应的测试样本的示意图，对于该外呼场景的自动外呼流程中的每个外呼节点，运维人员可以配置每个外呼节点对应的至少一个样本测试语句和该样本测试语句对应的样本答复，一个样本测试语句和对应的样本答复形成一个对话轮次。
133.步骤2072，计算机设备基于样本创建控件，获取测试样本，并将测试样本存储于数据库中。
134.运维人员基于样本创建控件配置测试样本之后，计算机设备可以将测试样本存储于数据库中，当然，计算机设备还可以对测试样本配置对应的样本标识，以供计算机设备在执行外呼测试任务的过程中，可以根据外呼测试任务的配置信息，获取外呼测试任务对应
的测试样本进行外呼测试。
135.在一种可能的实施方式中，样本管理页面还包括样本处理控件，请继续参见图10，步骤2072之后，本技术实施例外呼测试方法还包括步骤2073和步骤2074：
136.步骤2073，计算机设备基于样本处理控件获取针对测试样本的处理指令。
137.请继续参见图12，本技术实施例中，样本处理控件可以包括图12所示的“导出样本”控件、“查看”控件以及“删除”控件，运维人员可以点击任意样本处理控件以输入针对测试样本的处理指令。
138.步骤2074，计算机设备响应于处理指令，对测试样本进行预设处理。
139.计算机设备收到处理指令后，则按照处理指令的指示，对测试样本进行预设处理，预设处理包括将测试样本转存至预设存储位置、从数据库中删除测试样本以及在样本管理页面中展示测试样本中的至少一种。
140.这样，通过样本管理页面，可以方便地对不同外呼场景进行测试样本的创建、删除等操作，以便于计算机设备可以根据对应的测试样本对各外呼场景进行自动外呼测试。
141.在实际应用过程中，外呼场景的自动外呼流程常常会随着业务需求的变化而变化，自动外呼流程变化后及时更新外呼测试任务，计算机设备即可执行外呼测试任务自动进行外呼测试，从而有利于在自动外呼流程存在异常的情况下及时进行维护修复，以提升外呼组件的外呼成功率。
142.在一个实施例中，提供了一种外呼测试方法，可以应用于图1
‑
b所示的实施环境中，该外呼测试方法包括：
143.步骤a1，计算机设备展示任务界面，任务界面包括任务创建控件。
144.步骤a2，计算机设备基于任务创建控件，获取针对候选测试任务的候选配置信息，并根据候选配置信息，在数据库中生成候选测试任务。
145.步骤a3，计算机设备按照预设的时间周期，在数据库中检测针对目标外呼场景的候选测试任务，并确定候选测试任务的任务状态标签。
146.步骤a4，若任务状态标签为第一预设状态标签，计算机设备则将候选测试任务作为外呼测试任务，外呼测试任务包括配置信息。
147.步骤a5，计算机设备根据配置信息，获取外呼测试任务对应的测试样本，其中，测试样本与目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，测试样本包括样本测试语句和样本测试语句对应的样本答复。
148.步骤a6，计算机设备向外呼设备(该外呼设备部署有外呼组件，或者该外呼设备即为外呼组件)发送测试请求，并将样本测试语句携带于测试请求发送至外呼设备，由外呼设备对样本测试语句所包含的意图或语义进行识别，并查询识别结果对应的目标答复反馈至计算机设备；
149.或者，计算机设备对样本测试语句所包含的意图或语义进行识别，得到识别结果，计算机设备将识别结果携带于测试请求发送至外呼设备，由外呼设备查询识别结果对应的目标答复反馈至计算机设备。
150.步骤a7，计算机设备确定样本答复对应的样本文本以及目标答复对应的目标文本。
151.步骤a8，计算机设备检测样本文本和目标文本是否相同，并根据检测结果获取外
呼测试结果，外呼测试结果用于表征目标外呼场景的自动外呼流程是否正常。
152.步骤a9，计算机设备在数据库中将外呼测试任务的任务状态标签修改为第二预设状态标签，第二预设状态标签与第一预设状态标签表征不同的任务状态。
153.步骤a10，计算机设备在任务界面中将外呼测试结果对应于外呼测试任务进行展示。
154.应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
155.在一个实施例中，如图13所示，提供了一种外呼测试装置，包括：
156.第一获取模块10，用于获取针对目标外呼场景的外呼测试任务，所述外呼测试任务包括配置信息；
157.第二获取模块20，用于根据所述配置信息，获取所述外呼测试任务对应的测试样本，其中，所述测试样本与所述目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，所述测试样本包括样本测试语句和所述样本测试语句对应的样本答复；
158.测试模块30，用于基于所述样本测试语句，获取外呼组件反馈的针对所述样本测试语句的目标答复，并将所述样本答复和所述目标答复进行比较，得到外呼测试结果，所述外呼测试结果用于表征所述目标外呼场景的自动外呼流程是否正常。
159.在其中一个实施例中，所述测试模块30，包括：
160.确定单元，用于确定所述样本答复对应的样本文本以及所述目标答复对应的目标文本；
161.测试单元，用于检测所述样本文本和所述目标文本是否相同，并根据检测结果获取所述外呼测试结果。
162.在其中一个实施例中，所述第一获取模块10具体用于按照预设的时间周期，在数据库中检测针对所述目标外呼场景的候选测试任务，并确定所述候选测试任务的任务状态标签；若所述任务状态标签为第一预设状态标签，则将所述候选测试任务作为所述外呼测试任务。
163.在其中一个实施例中，所述装置还包括：
164.标签配置模块，用于在数据库中将所述外呼测试任务的所述任务状态标签修改为第二预设状态标签，所述第二预设状态标签与所述第一预设状态标签表征不同的任务状态。
165.在其中一个实施例中，所述装置还包括：
166.第一展示模块，用于展示任务界面，所述任务界面包括任务创建控件；
167.第三获取模块，用于基于所述任务创建控件，获取针对所述候选测试任务的候选配置信息，并根据所述候选配置信息，在数据库中生成所述候选测试任务。
168.在其中一个实施例中，所述装置还包括：
169.第二展示模块，用于在任务界面中将所述外呼测试结果对应于所述外呼测试任务进行展示。
170.在其中一个实施例中，所述装置还包括：
171.第三展示模块，用于展示样本管理页面，所述样本管理页面包括样本创建控件；
172.样本存储模块，用于基于所述样本创建控件，获取所述测试样本，并将所述测试样本存储于数据库中。
173.在其中一个实施例中，所述装置还包括：
174.指令获取模块，用于基于所述样本处理控件获取针对所述测试样本的处理指令；
175.处理模块，用于响应于所述处理指令，对所述测试样本进行预设处理，所述预设处理包括将所述测试样本转存至预设存储位置、从数据库中删除所述测试样本以及在所述样本管理页面中展示所述测试样本中的至少一种。
176.本实施例提供的外呼测试装置，可以执行上述外呼测试方法实施例，其实现原理和技术效果类似，在此不再赘述。关于外呼测试装置的具体限定可以参见上文中对于外呼测试方法的限定，在此不再赘述。上述外呼测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
177.在一个实施例中，还提供了一种如图14所示的计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种外呼测试方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
178.本领域技术人员可以理解，图14中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
179.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
180.获取针对目标外呼场景的外呼测试任务，所述外呼测试任务包括配置信息；
181.根据所述配置信息，获取所述外呼测试任务对应的测试样本，其中，所述测试样本与所述目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，所述测试样本包括样本测试语句和所述样本测试语句对应的样本答复；
182.基于所述样本测试语句，获取外呼组件反馈的针对所述样本测试语句的目标答复，并将所述样本答复和所述目标答复进行比较，得到外呼测试结果，所述外呼测试结果用于表征所述目标外呼场景的自动外呼流程是否正常。
183.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
184.确定所述样本答复对应的样本文本以及所述目标答复对应的目标文本；
185.检测所述样本文本和所述目标文本是否相同，并根据检测结果获取所述外呼测试结果。
186.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
187.按照预设的时间周期，在数据库中检测针对所述目标外呼场景的候选测试任务，并确定所述候选测试任务的任务状态标签；
188.若所述任务状态标签为第一预设状态标签，则将所述候选测试任务作为所述外呼测试任务。
189.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
190.在数据库中将所述外呼测试任务的所述任务状态标签修改为第二预设状态标签，所述第二预设状态标签与所述第一预设状态标签表征不同的任务状态。
191.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
192.展示任务界面，所述任务界面包括任务创建控件；
193.基于所述任务创建控件，获取针对所述候选测试任务的候选配置信息，并根据所述候选配置信息，在数据库中生成所述候选测试任务。
194.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
195.在任务界面中将所述外呼测试结果对应于所述外呼测试任务进行展示。
196.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
197.展示样本管理页面，所述样本管理页面包括样本创建控件；
198.基于所述样本创建控件，获取所述测试样本，并将所述测试样本存储于数据库中。
199.在一个实施例中，该处理器执行计算机程序时还实现以下步骤：
200.基于所述样本处理控件获取针对所述测试样本的处理指令；
201.响应于所述处理指令，对所述测试样本进行预设处理，所述预设处理包括将所述测试样本转存至预设存储位置、从数据库中删除所述测试样本以及在所述样本管理页面中展示所述测试样本中的至少一种。
202.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(ramb微秒)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
203.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
204.获取针对目标外呼场景的外呼测试任务，所述外呼测试任务包括配置信息；
205.根据所述配置信息，获取所述外呼测试任务对应的测试样本，其中，所述测试样本与所述目标外呼场景的自动外呼流程中的至少一个外呼节点相对应，所述测试样本包括样本测试语句和所述样本测试语句对应的样本答复；
206.基于所述样本测试语句，获取外呼组件反馈的针对所述样本测试语句的目标答复，并将所述样本答复和所述目标答复进行比较，得到外呼测试结果，所述外呼测试结果用于表征所述目标外呼场景的自动外呼流程是否正常。
207.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
208.确定所述样本答复对应的样本文本以及所述目标答复对应的目标文本；
209.检测所述样本文本和所述目标文本是否相同，并根据检测结果获取所述外呼测试结果。
210.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
211.按照预设的时间周期，在数据库中检测针对所述目标外呼场景的候选测试任务，并确定所述候选测试任务的任务状态标签；
212.若所述任务状态标签为第一预设状态标签，则将所述候选测试任务作为所述外呼测试任务。
213.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
214.在数据库中将所述外呼测试任务的所述任务状态标签修改为第二预设状态标签，所述第二预设状态标签与所述第一预设状态标签表征不同的任务状态。
215.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
216.展示任务界面，所述任务界面包括任务创建控件；
217.基于所述任务创建控件，获取针对所述候选测试任务的候选配置信息，并根据所述候选配置信息，在数据库中生成所述候选测试任务。
218.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
219.在任务界面中将所述外呼测试结果对应于所述外呼测试任务进行展示。
220.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
221.展示样本管理页面，所述样本管理页面包括样本创建控件；
222.基于所述样本创建控件，获取所述测试样本，并将所述测试样本存储于数据库中。
223.在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：
224.基于所述样本处理控件获取针对所述测试样本的处理指令；
225.响应于所述处理指令，对所述测试样本进行预设处理，所述预设处理包括将所述测试样本转存至预设存储位置、从数据库中删除所述测试样本以及在所述样本管理页面中展示所述测试样本中的至少一种。
226.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
227.以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。