智慧路灯语音交互方法、装置、计算机设备及存储介质与流程

1.本发明涉及智慧路灯，更具体地说是指智慧路灯语音交互方法、装置、计算机设备及存储介质。


背景技术：

2.在智慧城市的规划建设中，路灯杆因具位置及供电系统两大优势成为物联网在城市中的重点应用场域，而被称为“智慧路灯杆”。除了实现原来的路灯照明系统的智能化管理外，智慧路灯杆还是智慧城市建构安全治理的重要平台，集各种功能应用于一身，为实现城市的智慧管理发挥更多的作用。目前，国外的洛杉矶、圣地亚哥、巴黎和国内的上海、杭州、北京等城市已相继试点安装智慧路灯，以实现提高能源效益和使用传感器收集城市各类关键数据等目的。
3.目前的智慧路灯杆大多只具备简单的照明功能，该照明功能可基于时间和是否有路人经过进行亮灭的控制，公共服务职能较为单一，并不能为公众提供丰富的功能，比如天气预报等语音交互内容。
4.因此，有必要设计一种新的方法，实现丰富智慧路灯的功能，可进行语音交互。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供智慧路灯语音交互方法、装置、计算机设备及存储介质。
6.为实现上述目的，本发明采用以下技术方案：智慧路灯语音交互方法，包括：
7.获取唤醒请求，并根据所述唤醒请求进入唤醒状态；
8.拾取交互语音内容；
9.对所述交互语音内容进行识别，以得到识别结果；
10.对所述识别结果进行语义分析，以得到分析结果；
11.根据所述分析结果获取回应内容，并反馈所述回应内容。
12.其进一步技术方案为：所述唤醒请求包括带有唤醒词语的语音。
13.其进一步技术方案为：所述对所述交互语音内容进行识别，以得到识别结果，包括：
14.获取当前的识别模式；
15.判断当前的识别模式是否是离线识别；
16.若当前的识别模式是离线识别，则采用语音识别算法对所述交互语音内容进行识别，以得到识别结果。
17.其进一步技术方案为：所述判断当前的识别模式是否是离线识别之后，还包括：
18.若当前的识别模式不是离线识别，则采用基于深度全序列卷积神经网络框架将所述交互语音内容转换成文字流数据；
19.对所述文字流数据进行上下文语义理解，以得到识别结果。
20.其进一步技术方案为：所述对所述识别结果进行语义分析，以得到分析结果，包括：
21.将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果。
22.其进一步技术方案为：所述将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果，包括：
23.将识别结果作为搜索条件在自定义的语义库内进行匹配，以得到匹配结果；
24.判断所述匹配结果是否是匹配成功；
25.若所述匹配结果是匹配成功，则筛选与所述识别结果匹配的语句，以得到分析结果；
26.若所述匹配结果不是匹配成功，则将识别结果作为搜索条件在第三方语义库内进行匹配，以得到分析结果。
27.其进一步技术方案为：所述根据所述分析结果获取回应内容，并反馈所述回应内容，包括：
28.根据应答场景筛选所述分析结果，以得到回应内容；
29.根据所述回应内容进行应答或切换至相应的交互场景。
30.本发明还提供了智慧路灯语音交互装置，包括：
31.唤醒单元，用于获取唤醒请求，并根据所述唤醒请求进入唤醒状态；
32.语音拾取单元，用于拾取交互语音内容；
33.识别单元，用于对所述交互语音内容进行识别，以得到识别结果；
34.语义分析单元，用于对所述识别结果进行语义分析，以得到分析结果；
35.回应单元，用于根据所述分析结果获取回应内容，并反馈所述回应内容。
36.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
37.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
38.本发明与现有技术相比的有益效果是：本发明通过唤醒语音交互系统，并拾取交互语音内容，并对交互语音内容进行识别和语义分析，并根据分析结果确定回应内容，并进行反馈，可实现丰富智慧路灯的功能，可进行语音交互。
39.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
40.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例提供的智慧路灯语音交互方法的应用场景示意图；
42.图2为本发明实施例提供的智慧路灯语音交互方法的流程示意图；
43.图3为本发明实施例提供的智慧路灯语音交互方法的子流程示意图；
44.图4为本发明实施例提供的智慧路灯语音交互方法的子流程示意图；
45.图5为本发明实施例提供的智慧路灯语音交互方法的子流程示意图；
46.图6为本发明实施例提供的智慧路灯语音交互装置的示意性框图；
47.图7为本发明实施例提供的智慧路灯语音交互装置的识别单元的示意性框图；
48.图8为本发明实施例提供的智慧路灯语音交互装置的语义分析单元的示意性框图；
49.图9为本发明实施例提供的智慧路灯语音交互装置的回应单元的示意性框图；
50.图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
53.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
54.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
55.请参阅图1和图2，图1为本发明实施例提供的智慧路灯语音交互方法的应用场景示意图。图2为本发明实施例提供的智慧路灯语音交互方法的示意性流程图。该智慧路灯语音交互方法应用于服务器，该服务器集成在智慧路灯上，该智慧路灯与终端进行数据交互，智慧路灯上设置有语音拾取器，并将回应内容反馈至终端，该终端可以设置在智慧路灯上，也可以由用户持有。
56.图2是本发明实施例提供的智慧路灯语音交互方法的流程示意图。如图2所示，该方法包括以下步骤s110至s150。
57.s110、获取唤醒请求，并根据所述唤醒请求进入唤醒状态。
58.在本实施例中，所述唤醒请求包括带有唤醒词语的语音。
59.具体地，用户采用语音唤醒或者手动唤醒的方式唤醒智慧路灯的语音交互系统。正常情况下，该语音交互系统处于休眠状态，以减少功耗，当需要进行语音交互时，可以唤醒该系统后，便可进行语音交互，增多智慧路灯的功能。
60.s120、拾取交互语音内容。
61.在本实施例中，交互语音内容是指由用户输入的语音内容。
62.具体地，采用语音拾取器拾取用户输入的语音内容，语音拾取器拾取交互语音内容后输入至智慧路灯进行后续的处理。
63.s130、对所述交互语音内容进行识别，以得到识别结果。
64.在本实施例中，识别结果是指将交互语音内容转换形成的文本内容。
65.在一实施例中，请参阅图3，上述的步骤s130可包括步骤s131～s135。
66.s131、获取当前的识别模式。
67.在本实施例中，智慧路灯会在语音交互之前设定好识别模式，该识别模式包括离线识别或者在线识别，在线识别模式识别内容更精准，离线识别可以不依赖网络。
68.当然，可以采用语音或者终端设置的方式对识别模式进行设置。
69.s132、判断当前的识别模式是否是离线识别。
70.s133、若当前的识别模式是离线识别，则采用语音识别算法对所述交互语音内容进行识别，以得到识别结果。
71.在本实施例中，语音识别算法包括基于动态时间规整的算法、基于参数模型的隐马尔可夫模型的方法、基于非参数模型的矢量量化的方法。这些算法如何提取进行语音识别属于现有内容，此处不再赘述。
72.s134、若当前的识别模式不是离线识别，则采用基于深度全序列卷积神经网络框架将所述交互语音内容转换成文字流数据。
73.在本实施例中，在线语音识别引擎基于深度全序列卷积神经网络框架，通过websocket协议，建立应用与语言转写核心引擎的长连接，将交互语音内容这一音频流数据实时转换成文字流数据。支持个性化热词，用户可将一些非常见的词汇上传至在线语音识别引擎，当实时转写的音频流数据中出现该词汇时，语音识别引擎可将其识别出来，提高专业用语识别准确率。
74.s135、对所述文字流数据进行上下文语义理解，以得到识别结果。
75.上述的语音识别引擎具备上下文纠错特性，针对上下文进行语义理解，将文字流数据进行智能纠错，确保准确性。
76.在本实施例中，可采用nlp(自然语言处理，natural language processing)进行上下文的语义理解。
77.具体地，语音识别输入参数及规格：形式为实时音频流；支持格式为pcm；采样率为16khz；采样精度为16bits；支持语种为中文普通话；声道为单声道；分片时长为40ms。
78.语音识别输出参数及规格：形式为json格式字符串；编码为utf
‑
8；结果为句子开始&结束时间&词识别内容&词标识&词开始时间&词结束时间&结果类型标识&段落id，整句的中间结果，整句的最终结果。
79.在本实施例中，人机交互系统中存在全双工交互和单次交互两种模式，在普通智能音箱中，交互方式如下：
80.小飞小飞，查询一下深圳的天气；小飞小飞，广州的呢；小飞小飞，后天的呢。
81.在开启aiui持续交互模式下，aiui集成了包括双全工技术、麦克风阵列技术、声纹识别技术、方言识别、语义理解技术和和内容服务等，可以实现如下特性：
82.小飞小飞，查询一下北京的天气；合肥的呢；后天的呢。
83.持续交互即全双工交互，在一次唤醒后，可以保持一段时间的唤醒，一般小于60秒，在这段时间内，可以直接与机器交互，免去唤醒词以后，会使得人机交互更加自然。
84.s140、对所述识别结果进行语义分析，以得到分析结果。
85.在本实施例中，分析结果是指与识别结果匹配的语句。
86.在本实施例中，将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果。
87.在一实施例中，请参阅图4，上述的步骤s140可包括步骤s141～s144。
88.s141、将识别结果作为搜索条件在自定义的语义库内进行匹配，以得到匹配结果。
89.在本实施例中，匹配结果是指将识别结果提取出关键词并作为搜索条件，且在自定义的语义库内进行匹配，寻找与关键词相匹配的语句，由此形成的结果。
90.s142、判断所述匹配结果是否是匹配成功；
91.s143、若所述匹配结果是匹配成功，则筛选与所述识别结果匹配的语句，以得到分析结果。
92.s144、若所述匹配结果不是匹配成功，则将识别结果作为搜索条件在第三方语义库内进行匹配，以得到分析结果。
93.语义库采用自主研发语义库和第三方语义库组合的方式，其中，自主研发语义库是指自定义的语义库，优先匹配自主研发的语义库应答场景，其次在匹配第三方语义库，自定义问答可以让设备在识别到自定义配置的关键词的时候优先匹配自定义的回答内容，使得回答的内容更精准。如果在自定义语义库匹配不到相对应的回答，则会到第三方语义库进行其他问答场景语义匹配。
94.s150、根据所述分析结果获取回应内容，并反馈所述回应内容。
95.在一实施例中，请参阅图5，上述的步骤s150可包括步骤s151～s152。
96.s151、根据应答场景筛选所述分析结果，以得到回应内容。
97.在本实施例中，回应内容是指与应答场景匹配的分析结果。
98.s152、根据所述回应内容进行应答或切换至相应的交互场景。
99.根据实际情况反馈回应内容，或者切换为相应的交互场景，以便于将交互场景的对话内容进行反馈，反馈至终端。
100.语音合成可以选择不同的发音人，免费提供男音和女音合成音色，使得适应场景更丰富。
101.上述的智慧灯语音交互方法，通过唤醒语音交互系统，并拾取交互语音内容，并对交互语音内容进行识别和语义分析，并根据分析结果确定回应内容，并进行反馈，可实现丰富智慧路灯的功能，可进行语音交互。
102.图6是本发明实施例提供的一种智慧路灯语音交互装置300的示意性框图。如图6所示，对应于以上智慧路灯语音交互方法，本发明还提供一种智慧路灯语音交互装置300。该智慧路灯语音交互装置300包括用于执行上述智慧路灯语音交互方法的单元，该装置可以被配置服务器中。具体地，请参阅图6，该智慧路灯语音交互装置300包括唤醒单元301、语音拾取单元302、识别单元303、语义分析单元304以及回应单元305。
103.唤醒单元301，用于获取唤醒请求，并根据所述唤醒请求进入唤醒状态；语音拾取单元302，用于拾取交互语音内容；识别单元303，用于对所述交互语音内容进行识别，以得到识别结果；语义分析单元304，用于对所述识别结果进行语义分析，以得到分析结果；回应单元305，用于根据所述分析结果获取回应内容，并反馈所述回应内容。
104.在一实施例中，如图7所示，所述识别单元303包括模式获取子单元3031、模式判断子单元3032、离线识别子单元3033、在线识别子单元3034以及语义理解子单元3035。
105.模式获取子单元3031，用于获取当前的识别模式；模式判断子单元3032，用于判断当前的识别模式是否是离线识别；离线识别子单元3033，用于若当前的识别模式是离线识
别，则采用语音识别算法对所述交互语音内容进行识别，以得到识别结果；在线识别子单元3034，用于若当前的识别模式不是离线识别，则采用基于深度全序列卷积神经网络框架将所述交互语音内容转换成文字流数据；语义理解子单元3035，用于对所述文字流数据进行上下文语义理解，以得到识别结果。
106.在一实施例中，所述语义分析单元304，用于将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果。
107.在一实施例中，如图8所示，所述语义分析单元304包括第一匹配子单元3041、结果判断子单元3042、筛选子单元3043以及第二匹配子单元3044。
108.第一匹配子单元3041，用于将识别结果作为搜索条件在自定义的语义库内进行匹配，以得到匹配结果；结果判断子单元3042，用于判断所述匹配结果是否是匹配成功；筛选子单元3043，用于若所述匹配结果是匹配成功，则筛选与所述识别结果匹配的语句，以得到分析结果；第二匹配子单元3044，用于若所述匹配结果不是匹配成功，则将识别结果作为搜索条件在第三方语义库内进行匹配，以得到分析结果。
109.在一实施例中，如图9所示，所述回应单元305包括内容确定子单元3051以及应答子单元3052。
110.内容确定子单元3051，用于根据应答场景筛选所述分析结果，以得到回应内容；应答子单元3052，用于根据所述回应内容进行应答或切换至相应的交互场景。
111.需要说明的是，所属领域的技术人员可以清楚地了解到，上述智慧路灯语音交互装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
112.上述智慧路灯语音交互装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
113.请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
114.参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
115.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种智慧路灯语音交互方法。
116.该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
117.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种智慧路灯语音交互方法。
118.该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
119.其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
120.获取唤醒请求，并根据所述唤醒请求进入唤醒状态；拾取交互语音内容；对所述交互语音内容进行识别，以得到识别结果；对所述识别结果进行语义分析，以得到分析结果；根据所述分析结果获取回应内容，并反馈所述回应内容。
121.其中，所述唤醒请求包括带有唤醒词语的语音。
122.在一实施例中，处理器502在实现所述对所述交互语音内容进行识别，以得到识别结果步骤时，具体实现如下步骤：
123.获取当前的识别模式；判断当前的识别模式是否是离线识别；若当前的识别模式是离线识别，则采用语音识别算法对所述交互语音内容进行识别，以得到识别结果。
124.在一实施例中，处理器502在实现所述判断当前的识别模式是否是离线识别步骤之后，还实现如下步骤：
125.若当前的识别模式不是离线识别，则采用基于深度全序列卷积神经网络框架将所述交互语音内容转换成文字流数据；对所述文字流数据进行上下文语义理解，以得到识别结果。
126.在一实施例中，处理器502在实现所述对所述识别结果进行语义分析，以得到分析结果步骤时，具体实现如下步骤：
127.将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果。
128.在一实施例中，处理器502在实现所述将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果步骤时，具体实现如下步骤：
129.将识别结果作为搜索条件在自定义的语义库内进行匹配，以得到匹配结果；判断所述匹配结果是否是匹配成功若所述匹配结果是匹配成功，则筛选与所述识别结果匹配的语句，以得到分析结果；
130.若所述匹配结果不是匹配成功，则将识别结果作为搜索条件在第三方语义库内进行匹配，以得到分析结果。
131.在一实施例中，处理器502在实现所述根据所述分析结果获取回应内容，并反馈所述回应内容步骤时，具体实现如下步骤：
132.根据应答场景筛选所述分析结果，以得到回应内容；根据所述回应内容进行应答或切换至相应的交互场景。
133.应当理解，在本申请实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
134.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
135.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
136.获取唤醒请求，并根据所述唤醒请求进入唤醒状态；拾取交互语音内容；对所述交互语音内容进行识别，以得到识别结果；对所述识别结果进行语义分析，以得到分析结果；根据所述分析结果获取回应内容，并反馈所述回应内容。
137.其中，所述唤醒请求包括带有唤醒词语的语音。
138.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述交互语音内容进行识别，以得到识别结果步骤时，具体实现如下步骤：
139.获取当前的识别模式；判断当前的识别模式是否是离线识别；若当前的识别模式是离线识别，则采用语音识别算法对所述交互语音内容进行识别，以得到识别结果。
140.在一实施例中，所述处理器在执行所述计算机程序而实现所述判断当前的识别模式是否是离线识别步骤之后，还实现如下步骤：
141.若当前的识别模式不是离线识别，则采用基于深度全序列卷积神经网络框架将所述交互语音内容转换成文字流数据；对所述文字流数据进行上下文语义理解，以得到识别结果。
142.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述识别结果进行语义分析，以得到分析结果步骤时，具体实现如下步骤：
143.将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果。
144.在一实施例中，所述处理器在执行所述计算机程序而实现所述将识别结果作为搜索条件，在设定的语义库内进行匹配，以得到分析结果步骤时，具体实现如下步骤：
145.将识别结果作为搜索条件在自定义的语义库内进行匹配，以得到匹配结果；判断所述匹配结果是否是匹配成功；若所述匹配结果是匹配成功，则筛选与所述识别结果匹配的语句，以得到分析结果；若所述匹配结果不是匹配成功，则将识别结果作为搜索条件在第三方语义库内进行匹配，以得到分析结果。
146.在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述分析结果获取回应内容，并反馈所述回应内容步骤时，具体实现如下步骤：
147.根据应答场景筛选所述分析结果，以得到回应内容；根据所述回应内容进行应答或切换至相应的交互场景。
148.所述存储介质可以是u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
149.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
150.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
151.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发
明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
152.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
153.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。