用户意见的主动收集方法、系统、电子设备和存储介质与流程

1.本发明涉及智能语音领域，尤其涉及一种用户意见的主动收集方法、系统、电子设备和存储介质。


背景技术：

2.为了让智能语音功能更加完善，会考虑用户实际使用的意见。已有的收集客户建议的系统，需要用户主动点击触发。手动点击建议反馈交互流程一般是：由用户点击屏幕上的“建议反馈”“人工客服”按钮，发起会话页面，再由用户输入需要反馈的内容，反馈内容输入完毕后，提交反馈，从而将用户的反馈信息保存或发送到后台服务器系统，完成建议反馈。
3.在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
4.1、现有的建议反馈系统具有一定的局限性，需要在所有系统页面上显示“建议反馈”按钮，需要用户主动发起反馈，用户使用意愿低、提交率低，不利于用户意见收集。
5.2、在公共使用的语音智能设备上，例如：语音咨询机、语音购票设备等，由于使用、停留时间短，当用户在使用过程中遇到困难，往往想不起或者不会使用意见反馈、人工客服等功能反馈建议。
6.总的来说，用户的意见反馈的收集是非常重要的，及时高效地收集用户建议和意见有利于改善产品及公众服务，尤其是公共场所使用的语音设备。而现有技术提供的能力是单向交互的，产品的设计不能满足用户的实际需求。无法及时侦测到用户使用中遇到困难，在服务中情绪有所抱怨，缺乏在系统使用中主动监测用户行为，缺乏提示用户是否需要反馈建议或联系人工客服的双向交互机制。


技术实现要素：

7.为了至少解决现有技术中意见收集是由用户主动上传的，无法及时侦测到用户使用中遇到困难，缺乏提示用户是否需要反馈建议或联系人工客户的双向交互机制的问题。第一方面，本发明实施例提供一种用户意见的主动收集方法，包括：
8.接收用户输入的语音指令，执行所述语音指令并向所述用户进行全双工语音交互的反馈，在所述反馈的过程中，实时采集用户的语音音频，对所述语音音频进行语义理解以及情绪检测；
9.当检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，主动向用户全双工语音交互提示，引导所述用户输入意见语音；
10.录制所述用户输入的所述意见语音，当所述意见语音停止输入时，收集所述意见语音以及所述意见语音对应的文本。
11.第二方面，本发明实施例提供一种用户意见的主动收集系统，包括：
12.识别程序模块，用于接收用户输入的语音指令，执行所述语音指令并向所述用户进行全双工语音交互的反馈，在所述反馈的过程中，实时采集用户的语音音频，对所述语音
音频进行语义理解以及情绪检测；
13.引导程序模块，用于当检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，主动向用户全双工语音交互提示，引导所述用户输入意见语音；
14.意见收集程序模块，用于录制所述用户输入的所述意见语音，当所述意见语音停止输入时，收集所述意见语音以及所述意见语音对应的文本。
15.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用户意见的主动收集方法的步骤。
16.第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的用户意见的主动收集方法的步骤。
17.本发明实施例的有益效果在于：在语音交互过程中，对用户的语音输入进行语义的理解、情绪的检测，由于用户说法输入的不确定性以及语义语料覆盖的局限性，存在用户语义输入不被理解的情况，尤其用户在语音交互中表达负面情绪时，需要及时提示用户，是否需要留言反馈或者是否需要人工帮助，对用户负面情绪的判断，并对用户及时主动引导，大大提高用户的满意度，提高了意见反馈收集的效率与准确性。在语音全双工交互场景下，语音设备在唤醒状态下始终保持监听，用户所有语音输入都会实时送到语音系统，包括用户不自觉的自言自语或第三人交谈，可以更好的检测用户是否有负面情绪，提示用户主动收集反馈意见或人工帮助。当用户在业务办理、咨询、使用过程中出现负面情绪时，及时提示用户反馈意见或寻求人工帮助。大大提高用户使用满意度，也有助于服务单位更好了解客户需求，改善服务工作。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明一实施例提供的一种用户意见的主动收集方法的流程图；
20.图2是本发明一实施例提供的一种用户意见的主动收集方法的结构图；
21.图3是本发明一实施例提供的一种用户意见的主动收集系统的结构示意图；
22.图4为本发明一实施例提供的一种用户意见的主动收集的电子设备的实施例的结构示意图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.如图1所示为本发明一实施例提供的一种用户意见的主动收集方法的流程图，包
括如下步骤：
25.s11：接收用户输入的语音指令，执行所述语音指令并向所述用户进行全双工语音交互的反馈，在所述反馈的过程中，实时采集用户的语音音频，对所述语音音频进行语义理解以及情绪检测；
26.s12：当检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，主动向用户全双工语音交互提示，引导所述用户输入意见语音；
27.s13：录制所述用户输入的所述意见语音，当所述意见语音停止输入时，收集所述意见语音以及所述意见语音对应的文本。
28.在本实施方式中，可以将本方法应用在公共大厅中自助一体化设备的环境，通过自助一体化设备为用户实现语音业务咨询、自助化办理的形式。比如：银行业务办理大厅，地铁站大厅，医院门诊、税务大厅等功能。
29.对于步骤s11，以医院门诊的自助一体化设备为例，用户可以使用医院中的自助一体化设备进行问诊挂号。用户对自助一体化设备语音输入“我要挂号”，自助一体化设备进行反馈“请插入您的医保或社保卡”，用户插入社保卡后，自助一体化设备展示“请问您想挂哪科，或者您哪里不舒服”，如果用户输入的是“头疼”、“发烧”这类简单理解的科目，自助一体化设备会直接为用户引导至对应的科室进行挂号。然而，有的用户生病，病因复杂，一言两语难以总结出病情。例如，用户外出吃海鲜，吃完后回家的路上不小心崴到脚，回到家后脚部肿胀，并且也因吃了海鲜诱发急性过敏，此时的过敏又加剧了脚部的肿胀，变得更加严重，脚部疼得要命，并且附带着急性过敏浑身痒和心慌。此时，用户就难以跟自助一体化设备准确的描述出病情。例如，用户跟自助一体化设备说“脚肿心慌浑身痒”，此时自助一体化设备也无法根据用户的描述挂对应的科室。在自助一体化设备的屏幕上显示“无科室或者不准确的科室”，同时还向用户进行显示文字的语音反馈。自助一体化设备在语音反馈的过程中，实时采集此时用户的语音音频，并进行语义理解和情绪检测。
30.对于步骤s12，此时，由于用户看到自助一体化设备并没有为自己带来帮助，还浪费了自己的时间，由于病人身体不舒服，情绪、忍耐力都不佳，很容易产生抱怨的情绪。用户看到显示屏幕中“无科室或者不准确的科室”，收听到语音“对不起，没有对应...”，此时，用户产生抱怨。作为一种实施方式，所述在所述反馈的过程中，实时采集用户的语音音频，其中，所述用户的语音音频包括：所述用户的自述语音、所述用户与其他用户的交互语音。在本实施方式中，用户产生抱怨，自言自语“这太差了，什么玩意呀，挂不上号”。自助一体化设备采集到用户的抱怨语音，进行语义识别和情绪识别，具体的，语义中配置关键词词典，语义理解检测用户语音中包含到负面情绪词汇，包括例如：太差、不好、不满、不舒服、恶劣、不知道、不会、难用等等；识别引擎检测语音输入是否有愤怒或抑郁情绪。这样就可以在与用户的全双工交互中进行语音交互。
31.作为一种实施方式，当向所述用户进行全双工语音交互的反馈的过程中，检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，中断所述反馈的过程，主动向所述用户全双工语音交互提示，引导所述用户输入意见语音。
32.在本实施方式中，由于是全双工交互，用户和自助一体化设备的语音是可以互相打断的，具体的，用户看到自助一体化设备显示屏的“无科室或者不准确的科室”，自助一体化设备语音反馈“对不起，没有对应...”，当自助一体化设备说到“应”这个字时，用户已经
知道没挂上号，此时说出“这太差了，挂不上号”。自助一体化设备识别到语音音频中包含负面情绪词汇以及语音音频为负面情绪，此时就不再继续说完“没有对应的科室，无法为您挂号”。而是主动说“我猜你想给我反馈问题，您可以对我说要反馈”。在这样的全双工交互中，极大的提高了与用户的交互效率。
33.作为另一种实施方式，当向所述用户进行全双工语音交互的反馈结束后，检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，主动向所述用户全双工语音交互提示，引导所述用户输入意见语音。
34.在本实施方式中，如果自助一体化设备语音反馈“对不起，没有对应的科室，无法为您挂号”，在反馈说完后，接收到用户说出的“这太差了，挂不上号”。此时检测到语音音频中包含负面情绪词汇以及语音音频为负面情绪，自助一体化设备主动说“我猜你想给我反馈问题，您可以对我说要反馈”。此种方式为正常的语音交互方式。
35.对于步骤s13，自助一体化设备主动说“我猜你想给我反馈问题，您可以对我说要反馈”，引导用户输入意见语音。此时，用户输入意见语音，自助一体化设备对意见语音进行录制，当用户说完时，意见语音停止输入，收集意见语音以及意见语音对应的文本。这样后续维护的工作人员接收到用户输入的这种情况的意见语音，就可以进行后续的优化。
36.作为一种实施方式，在所述意见语音停止输入之后，所述方法还包括：
37.继续引导用户输入意见语音，录制所述用户再次输入的所述意见语音，当所述用户停止输入意见语音，或者所述用户未回复时，结束意见收集。
38.在本实施方式中，录制到用户输入的意见语音后，可以再次引导用户继续输入意见，这样可以最大化的引导用户输入意见。提升后续的优化效果。
39.作为一种实施方式，在收集所述意见语音以及所述意见语音对应的文本之后，所述方法还包括：引导所述用户输入联系方式，用于后续改善语音服务。
40.在本实施方式中，收集用户的联系方式，例如手机号、qq号、微信号等，便于开发人员的回访，获得更具体的详细描述，进一步提升自助一体化设备的性能。
41.总的来说，本方法将全链路语音技术结合语义理解、情绪识别技术，应用于语音设备交互系统中主动收集用户建议反馈的系统应用。用户通过语音与自助终端(自助一体化设备)进行交流，自助终端的机器捕获语音后进行识别，再进行语义理解，当用户语音有不被理解的语义中含有“负面情绪词汇”或情绪检测中检测到“愤怒、抑郁”等负面情绪时，以图文或语音反馈主动提示用户如果需要反馈建议请说：我要反馈或人工客服。用户发出语音指令：“我要反馈”，语音提示用户，请说出需要反馈的内容并开启录音，用户说出反馈内容后，继续询问用户是否说完，用户反馈说完结束后，语音提示：“好的，我已记录您的反馈”，请留下您的联系电话，用户说出联系电话后，结束记录。保存用户语音输入文本和音频记录自动生成客服工单，待后台处理。
42.具体如图2所示：
43.步骤一：用户语音指令输入；
44.步骤二：语音系统对用户语音进行语义理解和情绪检测；
45.步骤三：语义中配置关键词词典，语义理解检测用户语音中包含的负面情绪词汇，包括例如：太差、不好、不满、不舒服、恶劣、不知道、不会、难用等等；识别引擎检测语音输入是否有愤怒或抑郁情绪；
46.步骤四：检测到语义中含有负面情绪词汇或负面情绪时，语音主动提示用户：我猜你想给我反馈问题，您可以对我说要反馈。(或页面ui展现类似提示)；
47.步骤五：用户说：我要反馈，进入反馈技能对话，提示用户：请说出您要反馈的内容，等待用户说出反馈，同时开启音频录音；
48.步骤六：用户说出反馈内容；
49.步骤七：语音系统提示：好的，还有什么需要留言吗？用户如果继续留言，留言完毕后继续询问用户是否还需要留言；
50.步骤八：用户结束留言后或超时未回复后，语音系统提示：请留下您的联系电话；
51.步骤九：用户输入联系电话，校验联系电话为11位合法手机号或固定电话号码。号码非法，提示用户输入号码不合法，请重新说出电话号码；
52.步骤十：用户电话合法后或超时未回复后，结束语音对话。保存录音和反馈留言内容的文本。
53.通过该实施方式可以看出，在语音交互过程中，对用户的语音输入进行语义的理解、情绪的检测，由于用户说法输入的不确定性以及语义语料覆盖的局限性，存在用户语义输入不被理解的情况，尤其用户在语音交互中表达负面情绪时，需要及时提示用户，是否需要留言反馈或者是否需要人工帮助，对用户负面情绪的判断，并对用户及时主动引导，大大提高用户的满意度，提高了意见反馈收集的效率与准确性。在语音全双工交互场景下，语音设备在唤醒状态下始终保持监听，用户所有语音输入都会实时送到语音系统，包括用户不自觉的自言自语或第三人交谈，可以更好的检测用户是否有负面情绪，提示用户主动收集反馈意见或人工帮助。当用户在业务办理、咨询、使用过程中出现负面情绪时，及时提示用户反馈意见或寻求人工帮助。大大提高用户使用满意度，也有助于服务单位更好了解客户需求，改善服务工作。
54.如图3所示为本发明一实施例提供的一种用户意见的主动收集系统的结构示意图，该系统可执行上述任意实施例所述的用户意见的主动收集方法，并配置在终端中。
55.本实施例提供的一种用户意见的主动收集系统10包括：识别程序模块11，引导程序模块12和意见收集程序模块13。
56.其中，识别程序模块11用于接收用户输入的语音指令，执行所述语音指令并向所述用户进行全双工语音交互的反馈，在所述反馈的过程中，实时采集用户的语音音频，对所述语音音频进行语义理解以及情绪检测；引导程序模块12用于当检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，主动向用户全双工语音交互提示，引导所述用户输入意见语音；意见收集程序模块13用于录制所述用户输入的所述意见语音，当所述意见语音停止输入时，收集所述意见语音以及所述意见语音对应的文本。
57.进一步地，所述引导程序模块用于：
58.当向所述用户进行全双工语音交互的反馈的过程中，检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，中断所述反馈的过程，主动向所述用户全双工语音交互提示，引导所述用户输入意见语音。
59.本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的用户意见的主动收集方法；
60.作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
61.接收用户输入的语音指令，执行所述语音指令并向所述用户进行全双工语音交互的反馈，在所述反馈的过程中，实时采集用户的语音音频，对所述语音音频进行语义理解以及情绪检测；
62.当检测到所述语音音频中包含负面情绪词汇以及所述语音音频为负面情绪时，主动向用户全双工语音交互提示，引导所述用户输入意见语音；
63.录制所述用户输入的所述意见语音，当所述意见语音停止输入时，收集所述意见语音以及所述意见语音对应的文本。
64.作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的用户意见的主动收集方法。
65.图4是本技术另一实施例提供的用户意见的主动收集方法的电子设备的硬件结构示意图，如图4所示，该设备包括：
66.一个或多个处理器410以及存储器420，图4中以一个处理器410为例。用户意见的主动收集方法的设备还可以包括：输入装置430和输出装置440。
67.处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。
68.存储器420作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的用户意见的主动收集方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例用户意见的主动收集方法。
69.存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
70.输入装置430可接收输入的数字或字符信息。输出装置440可包括显示屏等显示设备。
71.所述一个或者多个模块存储在所述存储器420中，当被所述一个或者多个处理器410执行时，执行上述任意方法实施例中的用户意见的主动收集方法。
72.上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
73.非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还
可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
74.本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用户意见的主动收集方法的步骤。
75.本技术实施例的电子设备以多种形式存在，包括但不限于：
76.(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
77.(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如平板电脑。
78.(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
79.(4)其他具有数据处理功能的电子装置。
80.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
81.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
82.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
83.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。