多端智能家居的响应方法、装置、设备及存储介质与流程

1.本发明涉及电器响应领域，尤其涉及一种多端智能家居的响应方法、装置、设备及存储介质。


背景技术：

2.目前，互联网技术正在渗透到各个领域，人们正在不断的进行改进互联网技术的应用过程，使得互联网技术能更好适应各个领域的应用。在使用互联网的技术过程中，虽然底层逻辑不常变化，但是生硬的使用技术将无法取得良好的效果，在智能家居的场合下，智能语音的应用已经得到广泛的普及。
3.但是，在智能家居领域中，相关的语音助手设备分布在各个房间，当用户使用语音唤醒词唤醒设备时，因声音无法隔离传播，可能存在多个设备同时响应的情况，或者响应混乱执行错误操作，需要一种能协调多个智能语音的技术。


技术实现要素：

4.本发明的主要目的在于解决在多个智能家居的场景下，语音识别存在混乱执行的技术问题。
5.本发明第一方面提供了一种多端智能家居的响应方法，所述多端智能家居的响应方法应用于分布式的智能家居集，包括步骤：
6.获取所述智能家居集中所有智能家居收集的语音数据，生成语音数据集；
7.依次分析所述语音数据集中语音数据的声音强度，判断所述声音强度是否超过预置强度阈值；
8.若超过强度阈值，则对所述声音强度对应的语音数据进行第一语音识别处理，得到识别字符串；
9.判断所述识别字符串中是否存在预置唤醒词；
10.若存在，则将所述语音数据确定为标记语音数据；
11.对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据，以及对所述标记语音数据进行第二语音识别处理，生成所述标记语音数据对应的执行指令；
12.发送预置唤醒指令和所述执行指令至所述标记语音数据对应的智能家居。
13.可选的，在本发明第一方面的第一种实现方式中，所述依次分析所述语音数据集中语音数据的声音强度，判断所述声音强度是否超过预置强度阈值包括：
14.根据所述语音数据集对应智能家居的编号，依次提取所述语音数据集中的语音数据；
15.统计所述语音数据的所有声音信号幅度，并对所有声音信号幅度进行均方根处理，得到所述语音数据对应的声音强度；
16.判断所述声音强化是否超过预置强度阈值。
17.可选的，在本发明第一方面的第二种实现方式中，所述对所述声音强度对应的语音数据进行第一语音识别处理，得到识别字符串包括：
18.将所述声音强度对应的语音数据矩阵化，生成语音矩阵；
19.基于预置第一步长，将所述语音矩阵与预置第一卷积向量乘积，得到第一处理向量；
20.基于预置第二步长，将所述第一处理向量与预置第二卷积向量乘积，得到第二处理向量；
21.将所述第二处理向量与预置权重矩阵相乘，得到结果向量；
22.对所述结果向量进行激活处理，得到识别字符串。
23.可选的，在本发明第一方面的第三种实现方式中，所述对所述声音强度对应的语音数据进行第一语音识别处理，得到识别字符串还包括：
24.连接预置云端服务器，将所述声音强度对应的语音数据传输至所述云端服务器进行第一语音识别处理，得到识别字符串。
25.可选的，在本发明第一方面的第四种实现方式中，所述判断所述识别字符串中是否存在预置唤醒词包括：
26.基于正则表达式，将所述识别字符串与预置唤醒词表中的唤醒词进行匹配，判断所述唤醒词表中是否存在匹配的唤醒词。
27.可选的，在本发明第一方面的第五种实现方式中，所述对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据包括：
28.随机选取所有标记语音数据的声音强度中的一个声音强度，并对未选取的所有声音强度进行排序处理，得到强度分析序号；
29.根据所述强度分析序号，将选取声音强度与未选取的声音强度进行比对，剔除原有选取的声音强度，将比对结果大的声音强度确定为新选取声音强度，循环比对至所有强度分析序号均完成比对，得到声音强度最大的标记语音数据。
30.可选的，在本发明第一方面的第六种实现方式中，所述获取所述智能家居集中所有智能家居收集的语音数据，生成语音数据集包括：
31.与所述智能家居集中所有智能家居建立连接信道；
32.监听所述所有智能家居的语音信号，对非零的语音信号进行抓取，生成语音数据集。
33.本发明第二方面提供了一种多端智能家居的响应装置，包括：
34.获取模块，用于获取所述智能家居集中所有智能家居收集的语音数据，生成语音数据集；
35.强度分析模块，用于依次分析所述语音数据集中语音数据的声音强度，判断所述声音强度是否超过预置强度阈值；
36.第一识别模块，用于若超过强度阈值，则对所述声音强度对应的语音数据进行第一语音识别处理，得到识别字符串；
37.判断模块，用于判断所述识别字符串中是否存在预置唤醒词；
38.标记模块，用于若存在，则将所述语音数据确定为标记语音数据；
39.第二识别模块，用于对所有标记语音数据的声音强度进行比较分析处理，得到声
音强度最大的标记语音数据，以及对所述标记语音数据进行第二语音识别处理，生成所述标记语音数据对应的执行指令；
40.唤醒模块，用于发送预置唤醒指令和所述执行指令至所述标记语音数据对应的智能家居。
41.本发明第三方面提供了一种多端智能家居的响应设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述多端智能家居的响应设备执行上述的多端智能家居的响应方法。
42.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的多端智能家居的响应方法。
43.在本发明实施例中，通过获取每个智能家居的语音识别数据，将所有智能家居的语音数据的强度进行分析判断，最终得出智能家居集中收到语音数据强度最大的智能家居，并对该智能家居进行唤醒和指令操作，实现了对智能家居的语音指令协调控制，避免了响应混乱的情况。
附图说明
44.图1为本发明实施例中多端智能家居的响应方法的第一个实施例示意图；
45.图2为本发明实施例中多端智能家居的响应方法的第二个实施例示意图；
46.图3为本发明实施例中多端智能家居的响应方法的第三个实施例示意图；
47.图4为本发明实施例中多端智能家居的响应装置的一个实施例示意图；
48.图5为本发明实施例中多端智能家居的响应装置的另一个实施例示意图；
49.图6为本发明实施例中多端智能家居的响应设备的一个实施例示意图。
具体实施方式
50.本发明实施例提供了一种多端智能家居的响应方法、装置、设备及存储介质。
51.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
52.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中多端智能家居的响应方法的第一个实施例，所述多端智能家居的响应方法应用于分布式的智能家居集，包括步骤：
53.101、获取智能家居集中所有智能家居收集的语音数据，生成语音数据集；
54.102、依次分析语音数据集中语音数据的声音强度，判断声音强度是否超过预置强度阈值；
55.103、若超过强度阈值，则对声音强度对应的语音数据进行第一语音识别处理，得
到识别字符串；
56.104、判断识别字符串中是否存在预置唤醒词；
57.105、若存在，则将语音数据确定为标记语音数据；
58.106、对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据，以及对标记语音数据进行第二语音识别处理，生成标记语音数据对应的执行指令；
59.107、发送预置唤醒指令和执行指令至标记语音数据对应的智能家居。
60.101
‑
107实施例中，智能家居是分布在整个住房中，不同房间中的智能家居之间是相互连接的，在住房中任一角落获得语音数据，根据获取到语音数据的强度，来进行判断是否要进行语音识别。在判断强度时，主要是计算声音信号幅值的均方根，根据均方根得出的数据，将得到强度数据与强度阈值进行比较，只有大于强度阈值才可以继续识别，在识别过程中，需要进行两步判断，如果是一步判断会导致响应时间过长，因为一步判断的模型训练过大。进行改进后，先进行识别语音的语义，基于时延神经网络tdnn的训练过程不断的提取一段的数据特征，得到可以分析的数据后，再与权重矩阵相乘，最后再使用softmax激活函数，将字符串得出。再将识别字符串与已经设置的唤醒词表进行匹配，匹配的手段使用的是正则匹配的方式，如果成功匹配出唤醒词，则将匹配到的字符串对应的语音数据确定为是可以进行第二段识别的语音数据。在使用第二段语音识别之前，采取传递比较的方式将大小获得，因为家居数量不是很大，可以通过传递比较获得到最大声音强度的标记语音数据。在进行第二语音识别处理时，采取也是时延神经网络tdnn模型进行识别，也可以采取对外接口通过云端上传至云端服务器，由云端服务器进行识别处理，然后接收云端服务器传输回的识别结果，根据识别结果生成执行指令。然后将唤醒指令作为第一个指令而执行指令作为数据第二指令，一起合并发送至指定最大语音强度对应的智能家居中，完成整个语音响应过程。
61.在本发明实施例中，通过获取每个智能家居的语音识别数据，将所有智能家居的语音数据的强度进行分析判断，最终得出智能家居集中收到语音数据强度最大的智能家居，并对该智能家居进行唤醒和指令操作，实现了对智能家居的语音指令协调控制，避免了响应混乱的情况。
62.请参阅图2，本发明实施例中多端智能家居的响应方法的第二个实施例包括：
63.201、获取智能家居集中所有智能家居收集的语音数据，生成语音数据集；
64.本实施例类似于第一个实施例，在此不做赘述。
65.202、根据语音数据集对应智能家居的编号，依次提取语音数据集中的语音数据；
66.203、统计语音数据的所有声音信号幅度，并对所有声音信号幅度进行均方根处理，得到语音数据对应的声音强度；
67.204、判断声音强化是否超过预置强度阈值；
68.202
‑
204实施例为102步骤的优选方案，智能家居编号按一定规则进行排列，例如对首字符先排序，数字在字母之前，字母数据均按正常排序，aads562、69jhjd、166dd的排列顺序为：166dd、69jhjd、aads562，按照顺序排列后，统计166dd、69jhjd、aads562对应收集的语音数据的振幅，采取均方根的计算方式，得出声音强度值为36分贝，而强度阈值为30分贝，则认为超过强度阈值。
69.205、若超过强度阈值，则将声音强度对应的语音数据矩阵化，生成语音矩阵；
70.206、基于预置第一步长，将语音矩阵与预置第一卷积向量乘积，得到第一处理向量；
71.207、基于预置第二步长，将第一处理向量与预置第二卷积向量乘积，得到第二处理向量；
72.208、将第二处理向量与预置权重矩阵相乘，得到结果向量；
73.209、对结果向量进行激活处理，得到识别字符串；
74.205
‑
209实施例是103步骤的细化方案，具体说明时延神经网络tdnn是如何处理语音数据。将语音数据的波形进行矩阵化，对存在数据进行图像分析，对存在的位置给1，没有存在信号的位置给0，生成语音矩阵。将语音矩阵与第一卷积向量进行逐步卷积，步长可以是3、6、9，卷积向量的卷积长度可以是3、6、9等与进行卷积，一一对应，生成第一处理向量。
75.将第一处理向量与第二卷积向量进行乘积，第二步长可以是1，根据训练的模型决定，卷积生成第二处理向量，将第二处理向量与权重矩阵相互乘积，最后得到1*n的结果向量，使用softmax函数激活，得到识别字符串的数据。
76.210、基于正则表达式，将识别字符串与预置唤醒词表中的唤醒词进行匹配，判断唤醒词表中是否存在匹配的唤醒词；
77.本实施例是104步骤的优选方案，将预置唤醒词表中的唤醒词与识别字符串之间进行正则表达式的匹配，没有匹配成功就会返回0，匹配成功则返回值1。
78.211、若存在，则将语音数据确定为标记语音数据；
79.本实施类似于第一个实施例，在此不做赘述。
80.212、随机选取所有标记语音数据的声音强度中的一个声音强度，并对未选取的所有声音强度进行排序处理，得到强度分析序号；
81.213、根据强度分析序号，将选取声音强度与未选取的声音强度进行比对，剔除原有选取的声音强度，将比对结果大的声音强度确定为新选取声音强度，循环比对至所有强度分析序号均完成比对，得到声音强度最大的标记语音数据；
82.212
‑
213实施例是106步骤中“对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据”的优先方案，将随机将n个声音强度中的一个声音强度选取，有n
‑
1个声音强度，根据剩下的声音强度进行比较排序，通过每个强度大小比对后，选择较大的声音强度继续根据强度分析序号的排序比较大小，对整个强度分析序号完成后，得到最大的声音强度，查出最大的声音强度对应标记语音数据。
83.214、对标记语音数据进行第二语音识别处理，生成标记语音数据对应的执行指令；
84.215、发送预置唤醒指令和执行指令至标记语音数据对应的智能家居。
85.214
‑
215实施类似于第一个实施例，在此不做赘述。
86.在本发明实施例中，通过获取每个智能家居的语音识别数据，将所有智能家居的语音数据的强度进行分析判断，最终得出智能家居集中收到语音数据强度最大的智能家居，并对该智能家居进行唤醒和指令操作，实现了对智能家居的语音指令协调控制，避免了响应混乱的情况。
87.请参阅图3，本发明实施例中多端智能家居的响应方法的第三个实施例包括：
88.301、与智能家居集中所有智能家居建立连接信道；
89.302、监听所有智能家居的语音信号，对非零的语音信号进行抓取，生成语音数据集；
90.301
‑
302实施例是101步骤的优选方案，先建立信道，将非零的语音信号都进行抓取与收集，如果没有信号那就不进行抓取，还可以设置一个最低信号值，如5分贝以内的认定为零信号，而超过5分贝才进行抓取，将每个智能家居的非零语音信号收集为语音数据集。
91.303、依次分析语音数据集中语音数据的声音强度，判断声音强度是否超过预置强度阈值；
92.本实施类似于第一个实施例，在此不做赘述。
93.304、若超过强度阈值，则连接预置云端服务器，将声音强度对应的语音数据传输至云端服务器进行第一语音识别处理，得到识别字符串；
94.304实施例是103步骤的优选方案，即语音识别并不在本地进行，而是利用api接口将数据转移至第三方，由第三方服务器进行识别，然后通过互联网传输回识别结果，将该识别结果中的字符串确定为需要接下来处理的字符串。
95.305、判断识别字符串中是否存在预置唤醒词；
96.306、若存在，则将语音数据确定为标记语音数据；
97.307、对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据，以及对标记语音数据进行第二语音识别处理，生成标记语音数据对应的执行指令；
98.308、发送预置唤醒指令和执行指令至标记语音数据对应的智能家居。
99.305
‑
308实施类似于第一个实施例，在此不做赘述。
100.在本发明实施例中，通过获取每个智能家居的语音识别数据，将所有智能家居的语音数据的强度进行分析判断，最终得出智能家居集中收到语音数据强度最大的智能家居，并对该智能家居进行唤醒和指令操作，实现了对智能家居的语音指令协调控制，避免了响应混乱的情况。
101.上面对本发明实施例中多端智能家居的响应方法进行了描述，下面对本发明实施例中多端智能家居的响应装置进行描述，请参阅图4，本发明实施例中多端智能家居的响应装置一个实施例包括：
102.获取模块401，用于获取所述智能家居集中所有智能家居收集的语音数据，生成语音数据集；
103.强度分析模块402，用于依次分析所述语音数据集中语音数据的声音强度，判断所述声音强度是否超过预置强度阈值；
104.第一识别模块403，用于若超过强度阈值，则对所述声音强度对应的语音数据进行第一语音识别处理，得到识别字符串；
105.判断模块404，用于判断所述识别字符串中是否存在预置唤醒词；
106.标记模块405，用于若存在，则将所述语音数据确定为标记语音数据；
107.第二识别模块406，用于对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据，以及对所述标记语音数据进行第二语音识别处理，生成所
述标记语音数据对应的执行指令；
108.唤醒模块407，用于发送预置唤醒指令和所述执行指令至所述标记语音数据对应的智能家居。
109.在本发明实施例中，通过获取每个智能家居的语音识别数据，将所有智能家居的语音数据的强度进行分析判断，最终得出智能家居集中收到语音数据强度最大的智能家居，并对该智能家居进行唤醒和指令操作，实现了对智能家居的语音指令协调控制，避免了响应混乱的情况。
110.请参阅图5，本发明实施例中多端智能家居的响应装置的另一个实施例包括：
111.获取模块401，用于获取所述智能家居集中所有智能家居收集的语音数据，生成语音数据集；
112.强度分析模块402，用于依次分析所述语音数据集中语音数据的声音强度，判断所述声音强度是否超过预置强度阈值；
113.第一识别模块403，用于若超过强度阈值，则对所述声音强度对应的语音数据进行第一语音识别处理，得到识别字符串；
114.判断模块404，用于判断所述识别字符串中是否存在预置唤醒词；
115.标记模块405，用于若存在，则将所述语音数据确定为标记语音数据；
116.第二识别模块406，用于对所有标记语音数据的声音强度进行比较分析处理，得到声音强度最大的标记语音数据，以及对所述标记语音数据进行第二语音识别处理，生成所述标记语音数据对应的执行指令；
117.唤醒模块407，用于发送预置唤醒指令和所述执行指令至所述标记语音数据对应的智能家居。
118.其中，所述强度分析模块402包括：
119.提取单元4021，用于根据所述语音数据集对应智能家居的编号，依次提取所述语音数据集中的语音数据；
120.计算单元4022，用于统计所述语音数据的所有声音信号幅度，并对所有声音信号幅度进行均方根处理，得到所述语音数据对应的声音强度；
121.判断单元4023，用于判断所述声音强化是否超过预置强度阈值。
122.其中，所述第一识别模块403具体用于：
123.将所述声音强度对应的语音数据矩阵化，生成语音矩阵；
124.基于预置第一步长，将所述语音矩阵与预置第一卷积向量乘积，得到第一处理向量；
125.基于预置第二步长，将所述第一处理向量与预置第二卷积向量乘积，得到第二处理向量；
126.将所述第二处理向量与预置权重矩阵相乘，得到结果向量；
127.对所述结果向量进行激活处理，得到识别字符串。
128.其中，所述第一识别模块403还可以具体用于：
129.连接预置云端服务器，将所述声音强度对应的语音数据传输至所述云端服务器进行第一语音识别处理，得到识别字符串。
130.其中，所述判断模块404具体用于：
131.基于正则表达式，将所述识别字符串与预置唤醒词表中的唤醒词进行匹配，判断所述唤醒词表中是否存在匹配的唤醒词。
132.其中，所述第二识别模块406具体用于：
133.随机选取所有标记语音数据的声音强度中的一个声音强度，并对未选取的所有声音强度进行排序处理，得到强度分析序号；
134.根据所述强度分析序号，将选取声音强度与未选取的声音强度进行比对，剔除原有选取的声音强度，将比对结果大的声音强度确定为新选取声音强度，循环比对至所有强度分析序号均完成比对，得到声音强度最大的标记语音数据。
135.其中，所述获取模块401具体用于：
136.与所述智能家居集中所有智能家居建立连接信道；
137.监听所述所有智能家居的语音信号，对非零的语音信号进行抓取，生成语音数据集。
138.在本发明实施例中，通过获取每个智能家居的语音识别数据，将所有智能家居的语音数据的强度进行分析判断，最终得出智能家居集中收到语音数据强度最大的智能家居，并对该智能家居进行唤醒和指令操作，实现了对智能家居的语音指令协调控制，避免了响应混乱的情况。
139.上面图4和图5从模块化功能实体的角度对本发明实施例中的多端智能家居的响应装置进行详细描述，下面从硬件处理的角度对本发明实施例中多端智能家居的响应设备进行详细描述。
140.图6是本发明实施例提供的一种多端智能家居的响应设备的结构示意图，该多端智能家居的响应设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序533或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对多端智能家居的响应设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在多端智能家居的响应设备600上执行存储介质630中的一系列指令操作。
141.基于多端智能家居的响应设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图6示出的多端智能家居的响应设备结构并不构成对基于多端智能家居的响应设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
142.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述多端智能家居的响应方法的步骤。
143.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
144.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
145.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。