一种基于智慧家居系统的语音控制方法及装置与流程

1.本发明实施例涉及语音控制技术领域，尤其涉及一种基于智慧家居系统的语音控制方法、装置、计算设备及计算机可读存储介质。


背景技术：

2.随着科技的发展和生活水平的进步，智能控制技术被不断应用到人们的日常生活中。用户实现了通过语音对家电设备进行控制，例如，用户不需通过遥控器等设备控制家电设备，而是说出指令“打开空调”，则空调会根据用户的音频信号进行相应的响应。
3.本发明实施例提供一种语音控制方法，能够有效保护用户隐私的同时，还能提升对用户指令进行识别理解的速度，更好地为用户服务。


技术实现要素：

4.本发明实施例提供一种语音控制方法，能够有效保护用户隐私的同时，还能提升对用户指令进行识别理解的速度，更好地为用户服务。
5.第一方面，本发明实施例提供一种基于智慧家居系统的语音控制方法，所述智慧家居系统中包括至少一个智能设备和家庭边缘服务器；
6.所述家庭边缘服务器接收智能设备采集的用户音频信号；
7.所述家庭边缘服务器对所述音频信号进行语音识别，得到文本信息；
8.所述家庭边缘服务器基于预置指令词，确定所述文本信息对应的用户指令，所述用户指令用于完成所述用户音频信号所指示的控制操作。
9.通过在智慧家居系统中设置独立的家庭边缘服务器，使家庭边缘服务器对智能设备采集的用户音频信号进行识别处理，进行相应的控制操作，使得智慧家居系统可以基于用户的音频信号进行本地处理，用户的隐私如音色、音调和语速等在本地进行处理，有效地保护了用户的隐私。且通过独立设置的家庭边缘服务器进行识别计算，节省了将用户的音频信号上传至云端服务器的时间，避免了云端服务器进行处理时的多用户并发和队列时延问题，提升了进行语音控制的速度，提升了用户体验。
10.可选地，所述家庭边缘服务器基于预置指令词，确定所述文本信息对应的用户指令，包括：
11.所述家庭边缘服务器在确定所述文本信息与任一预置指令词的匹配度满足设定要求后，确定所述预置指令词为指令；
12.提取所述文本信息与所述预置指令词的区别作为关键参数；
13.根据所述指令和所述关键参数，确定所述文本信息对应的用户指令。
14.在家庭边缘服务器中存储大量的预置指令词，将文本信息与预置指令词逐一对比，若匹配度满足设定要求，则可根据预置指令词和关键参数确定用户指令。由于家庭边缘服务器独立于智能设备设置，因此可以在家庭边远服务器中部署大量的预置指令词，使使家庭边缘服务器识别出用户音频信号并转化为用户指令的概率大大提升，如此，可以完成
用户音频信号所指示的各种控制操作。
15.可选地，所述家庭边缘服务器中设置有语音识别容器和语音理解容器；
16.所述家庭边缘服务器对所述音频信号进行语音识别，得到文本信息，包括：所述家庭边缘服务器通过所述语音识别容器，对所述音频信号进行语音识别，得到文本信息；
17.所述家庭边缘服务器基于预置指令词，确定所述文本信息对应的用户指令，包括：
18.所述家庭边缘服务器通过所述语音理解容器，确定与所述文本信息匹配的预置指令词；基于与所述文本信息匹配的预置指令词，确定所述文本信息对应的用户指令。
19.通过在家庭边缘服务器中部署语音识别容器和语音理解容器，语音识别容器用于对音频信号进行语音识别，语音理解容器用于确定文本信息对应的用户指令，二者各司其职，提升了语音控制的效率；同时，将语音识别服务和语音理解服务分别运行在语音识别容器中和语音理解容器中，每个容器环境为互相不受影响的独立环境，那么在后续对语音识别服务和语音理解服务进行升级更新时，可以更加方便。
20.可选地，所述家庭边缘服务器通过所述语音识别容器，对所述音频信号进行语音识别之前，还包括：
21.所述家庭边缘服务器基于服务接口映射机制，确定所述语音识别容器；
22.所述家庭边缘服务器通过所述语音理解容器，确定与所述文本信息匹配的预置指令词之前，还包括：
23.所述家庭边缘服务器通过消息队列，将所述文本信息发送至所述语音理解容器。
24.家庭边缘服务器通过服务接口映射机制，可以调用语音识别容器和语音理解容器，通过在家庭边缘服务器中部署消息总线，可以为家庭边缘服务器内部进程、服务之间指令和数据传输提供便利，从而节省了算力，提升了家庭边缘服务器对用户音频信号的响应速度。
25.可选地，所述家庭边缘服务器周期性广播服务连接信息，所述服务连接信息包括家庭边缘服务器的ip地址和服务端口。
26.家庭边缘服务器通过周期性的广播服务连接信息，可以使其他智能设备及时获取家庭边缘服务器的ip地址和服务端口，从而使其他智能设备可以根据家庭边缘服务器的ip地址将用户音频信号发送至家庭边缘服务器实现本地语音识别和本地的语音理解。实现了其他智能设备对家庭边缘服务器的自发现功能。
27.可选地，所述至少一个智能设备和所述家庭边缘服务器均接入点对点p2p网络；所述方法还包括：
28.所述家庭边缘服务器接收所述智能设备的存活检测；所述存活检测用于所述智能设备确定所述家庭边缘服务器是否处于异常状态，且在异常状态时通过所述p2p网络通知其他的智能设备。
29.通过将智能设备和家庭边缘服务器接入p2p网络，实现了智能设备和家庭边缘服务器的更为有效便捷的沟通，同时任一智能设备可向家庭边缘服务器发送存活检测，以确定家庭边缘服务器是否处于异常状态。由于处于p2p网络中，因此当任一智能设备发现了家庭边缘服务器的异常状态后，可以将异常状态的消息通知至处于该网络的其他智能设备，避免其他智能设备的冗余检测。
30.可选地，所述用户指令用于完成所述用户音频信号所指示的控制操作，包括：
31.若所述用户指令为资源获取类，则将所述用户指令发送至云端服务器从而获取所述用户指令指示的资源；
32.若所述用户指令为设备控制类，则通过所述云端服务器确定所述用户指令对应的设备指令，并将所述设备指令发送至对应的受控设备；
33.若所述用户指令为智能设备交互类，则根据所述用户指令指示构建智能设备之间的交互通道。
34.在家庭边缘服务器确定了用户指令后，可以根据用户指令的内容进行相应的响应。如此，实现了用户通过语音对智能设备的有效控制，提升了用户体验。
35.第二方面，本发明实施例还提供一种基于智慧家居系统的语音控制装置，所述智慧家居系统中包括至少一个智能设备和家庭边缘服务器；
36.接收单元，用于接收智能设备采集的用户音频信号；
37.处理单元，用于对所述音频信号进行语音识别，得到文本信息；基于预置指令词，确定所述文本信息对应的用户指令，所述用户指令用于完成所述用户音频信号所指示的控制操作。
38.第三方面，本发明实施例还提供一种计算设备，包括：
39.存储器，用于存储计算机程序；
40.处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列的基于智慧家居系统的语音控制方法。
41.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述任一方式所列的基于智慧家居系统的语音控制方法。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明实施例提供的一种智能设备的应用场景图；
44.图2为本发明实施例提供的一种智慧家居系统的示意图；
45.图3为本发明实施例提供的一种基于智慧家居系统的语音控制方法；
46.图4为本发明实施例提供的一种家庭边缘服务器500的结构示意图；
47.图5为本发明实施例提供的一种基于广播和监听的设备和服务发现方法；
48.图6为本发明实施例提供的一种基于p2p网络的设备和服务发现方法；
49.图7为本发明实施例提供的一种基于智慧家居系统的语音控制方法；
50.图8为本发明实施例提供的一种语音控制的结构。
具体实施方式
51.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例
仅是本技术一部分实施例，而不是全部的实施例。
52.基于本技术描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术所附权利要求保护的范围。此外，虽然本技术中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
53.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
54.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本技术实施例图示或描述中给出那些以外的顺序实施。
55.此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
56.参见图1，为本技术一些实施例提供的一种智能设备的应用场景图。如图1所示，控制装置100和智能设备200之间可以有线或无线方式进行通信。
57.其中，控制装置100被配置为控制智能设备200，其可接收用户输入的操作指令，且将操作指令转换为智能设备200可识别和响应的指令，起着用户与智能设备200之间交互的中介作用。如：用户通过操作控制装置100上频道加减键，智能设备200响应频道加减的操作。
58.控制装置100可以是遥控器100a，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制智能设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制智能设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制智能设备200的功能。
59.控制装置100也可以是智能设备，如移动终端100b、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制智能设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，通过直观的用户界面(ui)为用户提供各种控制。
60.示例性的，移动终端100b可与智能设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端100b与智能设备200建立控制指令协议，通过操作移动终端100b上提供的用户界面的各种功能键或虚拟控件，来实现如遥控器100a布置的实体按键的功能。也可以将移动终端100b上显示的音视频内容传输到智能设备200上，实现同步显示功能。
61.智能设备200可提供广播接收功能和计算机支持功能的网络电视功能。智能设备可以实施为，数字电视、网络电视、互联网协议电视(iptv)等。
62.智能设备200，可以是液晶显示器、有机发光显示器、投影设备。具体智能设备类型、尺寸大小和分辨率等不作限定。
63.智能设备200还与服务器300通过多种通信方式进行数据通信。这里可允许智能设
备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器300可以向智能设备200提供各种内容和互动。示例的，智能设备200可以发送和接收信息，例如：接收电子节目指南(epg)数据、接收软件程序更新、或访问远程储存的数字媒体库。服务器300可以一组，也可以多组，可以一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
64.随着科技的发展，用户不仅能够通过如图1中的控制装置100对智能设备200进行控制，还可以通过语音控制智能设备200。图2示出了本发明实施例提供的一种智慧家居系统的示意图，包括智能设备200，服务器300，家庭路由器400，家庭边缘服务器500。其中服务器300可以为云端服务器。其中智能设备200可以包括智能空调、智能冰箱、智能电视、灯光和窗帘等。
65.家庭路由器400，用于实现各智能设备和家庭边缘计算服务器的网络连接，为智慧家居系统中的各智能设备和家庭边缘计算服务器分配ip地址。
66.用户可以通过多种方式实现对智能设备的智能控制。以用户控制智能空调为例，用户可以通过对智能空调发出语音从而实现对智能空调的控制，也可以通过对其他智能设备发出语音从而实现对智能空调的控制，也可以通过对家庭边缘服务器发出语音从而实现对智能空调的控制等。每个智能设备依据自身的需要，分别集成遥控、触控、语音、手势动作等交互方法。在本发明实施例中，特指每个智能设备中都集成了语音控制方法。
67.图3示例性示出了本发明实施例提供的一种基于智慧家居系统的语音控制方法。包括如下步骤：
68.步骤301，家庭边缘服务器接收智能设备采集的用户音频信号。
69.步骤302，家庭边缘服务器对所述音频信号进行语音识别，得到文本信息。
70.步骤303，家庭边缘服务器基于预置指令词，确定所述文本信息对应的用户指令，所述用户指令用于完成所述用户音频信号所指示的控制操作。
71.在步骤301中，用户对任一智能设备发出语音指令，智能设备采集用户的语音指令中的音频信号，将音频信号发送至家庭边缘服务器。
72.在步骤302中，家庭边缘服务器对音频信号进行语音识别，得到文本信息。本发明实施例对语音识别的方法不作限制，例如基于动态时间规整的算法、基于参数模型的隐马尔科夫模型的方法和基于非参数模型的矢量量化的方法等。通过步骤302，家庭边缘服务器将音频信号转化为文本信息，例如得到的文本信息可以为“打开空调”、“扫风模式”或“播放歌曲《甜蜜蜜》”等。
73.可选地，在家庭边缘服务器中设置语音识别容器，在语音识别容器中运行上述语音识别方法，家庭边缘服务器通过语音识别容器，对音频信号进行语音识别，得到文本信息。
74.将语音识别服务运行在语音识别容器中，容器环境为互相不受影响的独立环境，那么在后续对语音识别服务进行升级更新时，可以更加方便。
75.在步骤303中，家庭边缘服务器基于预置指令词，将文本信息转化为对应的可以用于控制受控设备的用户指令。基本原理为提前预置大量的不同的说法作为预置指令词，存储在文件中，当得到文本信息后，将文本信息与预置指令词进行对比，若匹配成功，则确定文本信息对应的用户指令；若匹配不成功，则提示用户“识别失败”。
76.本发明实施例提供以下两种确定用户指令的方式。
77.方式一
78.基于aiml的语义理解服务。提前设置不同的预置指令词进一个aiml的文件，需要确定用户指令时在python程序中调用该aiml文件。表一示出了一种可能的aiml文件中的预置指令词。
79.表一
[0080][0081][0082]
如表一所示，在家庭边缘服务器的aiml文件中存储了大量的预置指令词，当家庭边缘服务器确定了文本信息后，将文本信息与上述预置指令词逐一对比，当确定文本信息与任一预置指令词的匹配度满足设定要求后，将该预置指令词确定为指令。具体的确定指令的方式多种多样，例如为若文本信息中包含的字与预置指令词中包含的字相同的个数占预置指令词中包含的字的总个数的比值达到某一设定阈值，还可以为若文本信息中包含预置指令词的全部文字等等。然后提取文本信息与预置指令词的区别作为关键参数，根据所述指令和所述关键参数，确定所述文本信息对应的用户指令。
[0083]
举个例子，若在步骤302中确定的文本信息为“空调温度设置为26度”，将该文本信息与各预置指令词按照顺序逐一对比，逐一确定该文本信息与预置指令词的匹配度，例如与预置指令词“打开**”的匹配度为0，与预置指令词“空调温度设置为**度”进行对比，文本信息“空调温度设置为26度”中包含该预置指令词“空调温度设置为**度”的全部文字，则匹配度符合设定要求，将“空调温度设置为**度”作为指令。然后提取文本信息和预置指令词的区别“26”作为关键参数，将指令“空调温度设置为**度”和关键参数“26”结合，确定文本信息对应的用户指令为“空调温度设置为26度”。
[0084]
若在步骤302中确定的文本信息为“空调温度设置为高一度”，将该文本信息与各预置指令词按照顺序逐一对比，逐一确定该文本信息与预置指令词的匹配度，文本信息“空调温度设置为高一度”中包含该预置指令词“空调温度设置为**度”的全部文字，则匹配度符合设定要求，将“空调温度设置为**度”作为指令。然后提取文本信息和预置指令词的区别“高一”作为关键参数，但是这个关键参数不符合预置指令词“空调温度设置为**度”对关键参数的要求，例如预先设置该预置指令词的关键参数为具体度数，则由于“高一”这个关键参数不符合预设规则，则无法解析用户指令，向用户显示“识别失败”的提示。
[0085]
方式二
[0086]
基于aiml的语义理解服务。提前设置不同的预置指令词进一个aiml的文件，需要确定用户指令时在python程序中调用该aiml文件。表二示出了一种可能的aiml文件中的预置指令词。
[0087]
表二
[0088][0089]
如表一所示，这些预置指令词中包含大量的说法，事先将预置指令词进行分类，确定这些预置指令词的标准指令。当家庭边缘服务器确定了文本信息后，将文本信息与上述预置指令词逐一对比，当确定文本信息与任一预置指令词的匹配度满足设定要求后，将该预置指令词对应的标准指令确定为指令。具体的确定指令的方式多种多样，例如为若文本信息中包含的字与预置指令词中包含的字相同的个数占预置指令词中包含的字的总个数的比值达到某一设定阈值，还可以为若文本信息中包含预置指令词的全部文字等等。然后将确定的预置指令词对应的标准指令确定为指令，然后提取文本信息与预置指令词的区别作为关键参数，根据所述指令和所述关键参数，确定所述文本信息对应的用户指令。
[0090]
举个例子，若在步骤302中确定的文本信息为“放一首歌《甜蜜蜜》”，将该文本信息与各预置指令词按照顺序逐一对比，逐一确定该文本信息与预置指令词的匹配度，例如与预置指令词“打开**”的匹配度为0，与预置指令词“启动**”的匹配度为0，与预置指令词“放一首歌**”进行对比，文本信息“放一首歌《甜蜜蜜》”中包含该预置指令词“放一首歌**”的全部文字，则匹配度符合设定要求，将“放一首歌**”对应的标准指令“播放歌曲”作为指令。然后提取文本信息和预置指令词的区别“《甜蜜蜜》”作为关键参数，将指令“播放歌曲”和关键参数“《甜蜜蜜》”结合，确定文本信息对应的用户指令为“播放歌曲《甜蜜蜜》”。
[0091]
由于家庭边缘服务器安装在任一用户的智慧家居系统中，因此针对用户的需求做出针对性的应答处理，更加符合该用户的使用习惯和使用需求，能够提升用户体验。可选地，可以根据用户需求和习惯实时调整aiml文件中的预置指令词的顺序，从而可以提高确定用户指令的速度。具体为可以定期统计各预置指令词被确定为指令的概率，根据所述各预置指令词被确定为指令的概率，确定所述各预置指令词在文件中的排序。例如用户经常说的指令词有“打开空调”和“扫风模式”，则预置指令词“打开**”和“**模式”的使用概率最高，那么将“打开**”和“**模式”的优先级提前。
[0092]
在家庭边缘服务器中存储大量的预置指令词，将文本信息与预置指令词逐一对比，若匹配度满足设定要求，则可根据预置指令词和关键参数确定用户指令。由于家庭边缘服务器独立于智能设备设置，因此可以在家庭边远服务器中部署大量的预置指令词，使使
家庭边缘服务器识别出用户音频信号并转化为用户指令的概率大大提升，如此，可以完成用户音频信号所指示的各种控制操作。
[0093]
可选地，上述根据文本信息确定用户指令的过程可以运行在一个语音理解容器中，在家庭边缘服务器中设置语音理解容器，家庭边缘服务器通过所述语音理解容器，确定与所述文本信息匹配的预置指令词，基于与所述文本信息匹配的预置指令词，确定所述文本信息对应的用户指令。
[0094]
图4示出了本发明实施例提供的一种家庭边缘服务器500的结构示意图。如图4所示，包括服务接口映射501、语音识别容器502、语音理解容器503和消息队列504。
[0095]
其中语音识别容器和语音理解容器具有各自的服务端口，智能设备通过家庭边缘服务器的ip地址和家庭边缘服务器内置的服务端口调用相应的服务。例如语音识别容器的服务端口为37231，语音理解容器的服务端口为37232，家庭边缘服务器的ip地址为192.168.2.18，则当智能设备采集了用户的音频信号后，通过https://192.168.2.18:37231地址实现对家庭边缘服务器中的语音识别服务的调用。具体为，智能设备将音频信号发送至家庭边缘服务器，家庭边缘服务器基于服务接口映射机制，确定智能设备调用的服务端口为语音识别服务，将音频信号发送至语音识别容器，从而语音识别容器可以基于接收的音频信号将音频信号转化为文本信息。
[0096]
可选地，智能设备也可仅通过家庭边缘服务的ip地址实现对语音识别服务的调用。智能设备根据家庭边缘服务器的ip地址将音频信号发送至家庭边缘服务器，家庭边缘服务器基于服务接口映射机制，自行调用语音识别服务，从而实现对音频信号的处理。
[0097]
可选地，在家庭边缘服务器中还可设置消息队列，消息队列是为家庭边缘计算服务器中内部进程、服务之间指令和数据传输的软件总线。例如，在语音识别容器完成了将音频信号转化为文本信息的任务后，需要调用语音理解容器，则可直接通过消息队列请求语音理解容器中的语音理解服务，从而可以使语音理解容器基于文本信息，将文本信息转化为用户指令，达到了节省算力和提升相应速度的目的。
[0098]
通过在家庭边缘服务器中部署语音识别容器和语音理解容器，语音识别容器用于对音频信号进行语音识别，语音理解容器用于确定文本信息对应的用户指令，二者各司其职，提升了语音控制的效率；同时，将语音识别服务和语音理解服务分别运行在语音识别容器中和语音理解容器中，每个容器环境为互相不受影响的独立环境，那么在后续对语音识别服务和语音理解服务进行升级更新时，可以更加方便。
[0099]
家庭边缘服务器确定了用户指令后，需要根据用户指令指示受控设备进行相应的响应。针对相同的用户指令，不同种类的设备或不同品牌的设备
[0100]
由于用户指令为文字形式，所以还需将用户指令转化为设备可以识别的设备指令，即代码形式。不同种类的设备或不同品牌的设备对于相同的用户指令转化成的代码形式不同。例如对于用户指令“播放歌曲《甜蜜蜜》”，智能音箱和智能电视对应的设备指令就不同，或品牌a的智能音箱与品牌b的智能音箱对应的设备指令也不同。因此在家庭边缘服务器确定了用户指令后，还需针对性的确定用户指令对应的设备指令。
[0101]
一种可能的实现方式，家庭边缘服务器在确定了用户指令后，再确定该用户指令对应的受控设备及受控设备的品牌，据此向云端服务器请求该品牌的受控设备对应的指令集，云端服务器根据家庭边缘服务器的请求，将对应的指令集发送至家庭边缘服务器，家庭
边缘服务器根据用户指令即该受控设备对应的指令集，从而确定该用户指令对应的设备指令。通过上述方式，则家庭边缘服务器只需在首次获取指令集，之后再确定了用户指令后，无需再次向云端服务器请求，如此可以大大减少确定设备指令的时间，同时还保护了用户的隐私。
[0102]
另一种可能的实现方式，家庭边缘服务器在确定了用户指令后，再确定该用户指令对应的受控设备及受控设备的品牌，将用户指令、受控设备、受控设备的品牌等信息发送至云端服务器，云端服务器通过该品牌的受控设备对应的指令集确定出该用户指令对应的设备指令。通过上述方式，每一次在家庭边缘服务器确定了用户指令后都会将用户指令上传至云端服务器，由于云端服务器需要处理很多用户的上述请求，因此会有较大的时延，且用户的隐私面临暴露的危险。
[0103]
在确定了设备指令后，需要通过设备指令控制受控设备进行响应。
[0104]
一种可能的实现方式，家庭边缘服务器确定了设备指令后，将设备指令通过家庭路由器发送至对应的受控设备，例如将“打开空调”对应的设备指令发送至该智慧家居系统的智能空调，智能空调接收设备指令，完成“打开空调”的控制操作。通过上述方式，用户通过语音控制受控设备的过程，均在本地通过家庭边缘服务器实现，用户的隐私如指令、音色、音调和语速等在本地进行处理，有效地保护了用户的隐私。且通过独立设置的家庭边缘服务器进行识别计算，节省了将用户的音频信号上传至云端服务器的时间，避免了云端服务器进行处理时的多用户并发和队列时延问题，提升了进行语音控制的速度，提升了用户体验。
[0105]
另一种可能的实现方式，基于物联网的方案，家庭边缘服务器确定了设备指令后，将设备指令发送至云端服务器，云端服务器中设置有多个智慧家居系统的所有智能设备的接口，因此，云端服务器根据设备指令指向的设备及对应的智慧家居系统，调用该智慧家居系统中的相应设备的接口，完成控制操作。例如，云端服务器接收到“打开空调”对应的设备指令、a智慧家居系统、受控设备为空调，因此云端服务器调用a智慧家居系统中的空调的接口，实现“打开空调”的控制操作。家庭边缘服务器还可以直接将用户指令发送至云端服务器，由云端服务器确定该用户指令对应的设备指令，再调用相应的接口用以完成设备指令。本发明实施例对此不作限制。通过上述方式，由云端服务器根据设备指令实现控制操作，更加方便，但用户的隐私也面临泄露的风险。
[0106]
另一种可能的实现方式，家庭边缘服务器确定了用户指令后，将用户直录功能发送至云端服务器，云端服务器确定用户指令对应的设备指令后，将设备指令发送至对应的受控设备。该方法同样的，对用户的隐私保护力度不足。
[0107]
用户指令还可以为资源获取类，如用户指令为“播放歌曲《甜蜜蜜》”，若家庭边缘服务器中未存储用户指令中的资源，则可以通过云端服务器获取该用户指令中指示的资源。
[0108]
用户指令还可以为智能设备交互类，则家庭边缘服务器根据用户指令指示构建智能设备之间的交互通道。例如用户指令为“卧室音箱与客厅音箱实时对讲”，则家庭边缘服务器确定该用户指令对应的设备指令后，将设备指令发送至卧室音箱和客厅音箱，通过家庭边缘服务器的控制，卧室音箱和客厅音箱实现了设备间的交互。
[0109]
在家庭边缘服务器确定了用户指令后，可以根据用户指令的内容进行相应的响
应。如此，实现了用户通过语音对智能设备的有效控制，提升了用户体验。
[0110]
由于智慧家居系统中的各设备如家庭边缘服务器、智能设备等的ip地址由家庭路由器进行分配，在家庭路由器发生故障重启时，各设备的ip地址需重新分配，或者任一设备发生了故障重启后，需由家庭路由器重新分配ip地址。因此智慧家居系统中的各设备的ip地址不是固定不变的，但是各智能设备需要将采集的音频信号发送至家庭边缘服务器，家庭边缘服务器也需要将设备指令及时发送至相应的受控设备，那么家庭边缘服务器及时将自身的ip地址通知其他智能设备就显得至关重要。
[0111]
本发明实施例提供以下两种智能设备和家庭边缘服务器自发现和自我配置的方式。
[0112]
方式一
[0113]
家庭边缘服务器周期性广播服务连接信息，所述服务连接信息包括家庭边缘服务器的ip地址和服务端口。图5示出了本发明实施例提供的一种基于广播和监听的设备和服务发现方法。
[0114]
如图5所示，家庭边缘服务器在获取了自身ip地址后，将家庭边缘服务器的ip地址、服务端口、是否提供服务等信息进行广播，智能设备开启监听端口，在监听到广播消息后，解析家庭边缘服务器的ip地址、服务端口、是否提供服务等信息并进行存储。那么在智能设备下次采集到音频信号后，根据家庭边缘服务器的ip地址和服务端口将音频信号发送至家庭边缘服务器。例如，家庭边缘服务器的广播消息为：https://192.168.2.18:37231，其中https://192.168.2.18为家庭边缘服务器的ip地址，37231为家庭边缘服务器中的语音识别容器的服务端口，则智能设备在监听到广播消息后进行存储，可以在采集到音频信号后根据上述广播消息，将音频信号发送至家庭边缘服务器。
[0115]
可选地，家庭边缘服务器可以仅广播家庭边缘服务器的ip地址，也可以广播家庭边缘服务器的ip地址和语音识别容器的服务端口，也可以广播家庭边缘服务器的ip地址、语音识别容器和语音理解容器的服务端口。本发明实施例对此不作限制。
[0116]
可选地，各智能设备还可以将智能设备的ip地址进行广播，家庭边缘服务器开启监听端口进行监听，如此，家庭边缘服务器在确定了设备指令及相应的受控设备后，可以根据受控设备的ip地址将设备指令发送至受控设备。
[0117]
由于家庭边缘服务器可能会出现关机、异常停电、服务异常等异常状态，因而可以设计一种方式使智能设备可以及时发现家庭边缘服务器的异常状态。家庭边缘服务器接收智能设备发送的存活检测，例如网络映射器nmap检测、家庭边缘服务器和各智能设备构建心跳连接等方式。
[0118]
在上述方式中，家庭边缘服务器需要定期广播，以解决智能设备随时可能出现的开启关闭状态，会对家庭边缘服务器造成一定的cpu资源浪费。同时，若家庭存在大量智能设备的话，每个智能设备都与家庭边缘服务器构建心跳连接，那么家庭边缘服务器为维持心跳也会占用较高的cpu资源。
[0119]
方式二
[0120]
智能设备和家庭边缘服务器均接入p2p(peer to peer，点对点)网络，通过p2p网络实现智能设备和家庭边缘服务器的互联互通。图6示出了本发明实施例提供的一种基于p2p网络的设备和服务发现方法。
[0121]
如图6所示，家庭边缘服务器通过设定协议如gossip协议、udp(user datagram protocol，用户数据报)协议等接入家庭p2p网络，智能设备也通过设定协议接入家庭p2p网络。家庭边缘服务器在获取了自身ip地址后，将家庭边缘服务器的ip地址、服务端口和开启服务等推送至p2p网络，那么接入该p2p网络的其他设备就可获取家庭边缘服务器的ip地址、服务端口和开启服务等信息，并将这些信息进行存储，配置自身语音识别和语音理解的请求地址。
[0122]
那么当智能设备接入该p2p网络后，也可主动拉取家庭边缘服务器的ip地址和服务端口等信息。本发明实施例对此不作限制。
[0123]
同样的，智能设备也可以通过一些存活检测如nmap检测、家庭边缘服务器和各智能设备构建心跳连接检测等方式确认家庭边缘服务器是否处于异常状态。但是由于p2p网络中彼此连接的多台计算机之间都处于对等的地位，网络中的每一台计算机既能充当网络服务的请求者，又对其它计算机的请求做出响应，提供资源、服务和内容。因此，当其中一台智能设备通过存活检测的方式确定了家庭边缘服务器的异常状态后，会将家庭边缘服务器处于异常状态的消息通过p2p网络通知其他智能设备。
[0124]
与方式一相比，将家庭边缘服务器和各智能设备接入同一个p2p网络的方式，更加简单方便，仅需某一个智能设备检测到家庭边缘服务器的工作异常后即可更新至全部智能家电设备。
[0125]
为了更好的解释本发明实施例，下面将在具体实施场景下来描述语音控制的流程。如图7所示。
[0126]
步骤701，家庭边缘服务器通过gossip协议接入p2p网络，将家庭边缘服务器的ip地址、语音识别服务端口和语音理解服务端口推送至p2p网络中。
[0127]
步骤702，智能设备a采集用户的音频信号。
[0128]
智能设备a可以是具有麦克风等声音705采集器的各种智能设备。
[0129]
步骤703，智能设备a检测自身当前是否记录有家庭边缘服务器的ip地址、语音识别服务端口和语音理解服务端口。若是，则进入步骤704，若否，则进入步骤705。
[0130]
步骤704，根据家庭边缘服务器的ip地址将音频信号发送至家庭边缘服务器，以使家庭边缘服务器进行语音识别和语音理解。
[0131]
步骤705，通过gossip协议接入p2p网络，拉取家庭边缘服务器的ip地址、语音识别服务端口和语音理解服务端口。
[0132]
步骤706，家庭边缘服务器调用语音识别服务，进行语音识别，得到文本信息。
[0133]
步骤707，家庭边缘服务器调用语音理解服务，得到文本信息对应的用户指令。
[0134]
步骤708，家庭边缘服务器根据预先从云端服务器请求的指令集，确定该用户指令对应的设备指令。
[0135]
步骤709，获取设备指令对应的受控设备b的ip地址，将设备指令发送至受控设备b。
[0136]
步骤710，受控设备b根据设备指令做出响应。
[0137]
通过在智慧家居系统中设置独立的家庭边缘服务器，使家庭边缘服务器对智能设备采集的用户音频信号进行识别处理，进行相应的控制操作，使得智慧家居系统可以基于用户的音频信号进行本地处理，用户的隐私如音色、音调和语速等在本地进行处理，有效地
保护了用户的隐私。且通过独立设置的家庭边缘服务器进行识别计算，节省了将用户的音频信号上传至云端服务器的时间，避免了云端服务器进行处理时的多用户并发和队列时延问题，提升了进行语音控制的速度，提升了用户体验。
[0138]
基于相同的技术构思，图8示例性的示出了本发明实施例提供的一种语音控制的结构，该结构可以执行语音控制的流程。
[0139]
如图8所示，该装置具体包括：
[0140]
接收单元801，用于接收智能设备采集的用户音频信号；
[0141]
处理单元802，用于对所述音频信号进行语音识别，得到文本信息；基于预置指令词，确定所述文本信息对应的用户指令，所述用户指令用于完成所述用户音频信号所指示的控制操作。
[0142]
其中，接收单元801可以通过如图3中示出的通信器220或检测器230实现。处理单元802可以通过如图3中示出的处理器254实现，本发明实施例对此不作限制。
[0143]
基于相同的技术构思，本发明实施例还提供一种计算设备，包括：
[0144]
存储器，用于存储计算机程序；
[0145]
处理器，用于调用存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列语音控制的方法。
[0146]
基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行程序，计算机可执行程序用于使计算机执行上述任一方式所列的语音控制的方法。
[0147]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0148]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0149]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0150]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0151]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精
神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。