一种语音设备控制方法、系统、介质及语音设备与流程

1.本技术涉及声学领域，特别涉及一种语音设备控制方法、语音设备控制系统、计算机可读存储介质及语音设备。


背景技术：

2.目前，市场上的一些带语音功能的音箱为达到更好的用户体验，能够实现与家庭电视或其他显示设备连接。但当显示设备电视作为音源时，由于音箱与电视是两个独立的设备，音箱端无法回采其声音信号，使得音箱无法分辨哪些是噪声，哪些是语音控制音源，因此会影响音箱的唤醒率。尤其当环境中还存在其他噪声干扰时，音箱的唤醒效果会更差，影响用户体验。


技术实现要素：

3.本技术的目的是提供一种语音设备控制方法、语音设备控制系统、计算机可读存储介质及语音设备，通过对多媒体音频信号和环境声音进行一致性比较，从而降低多媒体音频对语音设备的语音控制影响。
4.为解决上述技术问题，本技术提供一种语音设备控制方法，具体技术方案如下：
5.获取显示设备输出的多媒体音频信号；
6.利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；
7.若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。
8.可选的，获取显示设备输出的多媒体音频信号包括：
9.获取显示设备输出的多媒体数据；
10.对所述多媒体数据进行信号分离，得到多媒体音频数据；
11.对所述多媒体音频数据进行频域转换，得到多媒体音频信号。
12.可选的，生成对应的环境声音信号包括：
13.对所述环境声音数据进行阻抗匹配，得到待处理声音信号；
14.利用放大电路放大所述待处理声音信号的电压幅值，得到所述环境声音数据对应的环境声音信号。
15.可选的，还包括：
16.若在同一时间段内所述多媒体音频信号和所述环境声音信号不具备信号一致性，生成噪音提示。
17.可选的，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到语音操作指令之前，还包括：
18.对所述环境声音信号进行时域到频域的转换，并计算在同一时间段内所述多媒体
音频信号和所述环境声音信号的一致性差异。
19.可选的，计算在同一时间段内所述多媒体音频信号和所述环境声音信号的一致性差异包括：
20.在所述多媒体音频信号和所述环境声音信号内分别截取相同数量的第一样本信号和第二样本信号；其中，所述样本信号包括信号的频率、幅值和相位；
21.计算相同频率下所述第一样本信号和所述第二样本信号的幅值差和相位差；
22.若在目标频率下所述幅值差和所述相位差均满足对应的置信区间，判定所述多媒体音频信号和所述环境声音信号在所述目标频率时可信；
23.根据可信的频率数确定置信度，当所述置信度大于预设置信度时，确定所述多媒体音频信号和所述环境声音信号具备信号一致性。
24.可选的，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到语音操作指令包括：
25.将所述多媒体音频信号作为参考信号，利用语音自适应回声消除算法，对所述环境声音信号进行回声消除，得到语音操作指令。
26.本技术还提供一种语音设备控制系统，包括：
27.多媒体信号获取模块，用于获取显示设备输出的多媒体音频信号；
28.环境声音采集模块，用于利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；
29.信号比对控制模块，用于若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。
30.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
31.本技术还提供一种语音设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
32.本技术提供一种语音设备控制方法，包括：获取显示设备输出的多媒体音频信号；利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。
33.本技术通过获取显示设备输出的多媒体音频信号，并获取麦克风阵列采集到的环境声音数据，包含显示设备发出的声音信号及其他声音，进而计算两个信号的在同一时间内的信号一致性，若二者具备信号一致性，则可以直接基于多媒体音频信号对麦克风阵列获取的环境声音信号进行回声消除，能够有效增强回声消除效果，提高声音信号的信噪比，从而提升用户体验。
34.本技术还提供一种语音设备控制系统、计算机可读存储介质和语音设备，具有上述有益效果，此处不再赘述。
附图说明
35.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本技术实施例所提供的一种语音设备控制方法的流程图；
37.图2为本实施例提供的信号一致性比对过程流程图；
38.图3为本实施例提供的语音设备与显示设备执行语音控制交互时结构示意图；
39.图4为本技术实施例所提供的一种语音设备控制系统结构示意图；
40.图5为本技术实施例所提供的一种语音设备的结构示意图。
具体实施方式
41.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.请参考图1，图1为本技术实施例所提供的一种语音设备控制方法的流程图，该方法包括：
43.s101：获取显示设备输出的多媒体音频信号；
44.本步骤旨在获取显示设备输出的多媒体音频信号，在此对于如何获取显示设备的多媒体音频信号不作具体限定，可以通过语音设备与显示设备已建立的连接方式获取该多媒体音频信号，包括但不限于有线传输或者无线传输。在采用有线传输时，具体应根据显示设备输出的数据类型采用相应的接口，例如可以采用hdmi(high definition multimedia interface，高清多媒体接口)接口或者dvi(digital visual interface，数字视频接口)接口等等。而相应的，采用无线传输时，可以采用包括但不限于蓝牙、zigbee和蜂窝网络等无线传输。
45.需要注意的是，本步骤的目的在于获取多媒体音频信号。而通常显示设备仅包括多媒体数据，并未区分视频信号和音频信号。此时默认本步骤包括对多媒体数据的处理过程，并得到多媒体音频信号。此时，本步骤一种优选的执行过程如下：
46.s1011：获取显示设备输出的多媒体数据；
47.s1012：对所述多媒体数据进行信号分离，得到多媒体音频数据；
48.s1013：对所述多媒体音频数据进行频域转换，得到多媒体音频信号。
49.首先直接获取显示设备输出的多媒体数据，并对多媒体数据进行信号分离，从而得到多媒体音频数据，此后可以进行频域转换，将数据转换为多媒体音频信号。
50.s102：利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；
51.本步骤旨在采集环境声音数据，并生成对应的环境声音信号。环境声音数据包括语音操作指令和所述显示设备的声音数据，即当前环境下麦克风阵列检测到的所有环境声音，并转换为对应的环境声音信号。
52.在此对于本步骤所采用的麦克风阵列的具体参数不作限定，具体参数包括其麦克
风类型、采样频率、最大拾音距离和麦克风级联方式等，可由本领域技术人员根据语音设备的具体应用环境作相应的设定。
53.其次，在生成对应的环境声音信号过程中，可以针对环境声音作相应的优化。例如可以执行阻抗匹配和电压放大等操作，以便于后续过程对环境声音信号的处理。麦克风阵列主要用于采集用户的语音指令，但在显示设备启用时，采集过程不可避免的接收到显示设备发出的声音、用户语音和环境声音。若麦克风阵列包含驻极体麦克风，对于驻极体麦克风而言，输出阻抗很高，不能将驻极体麦克输出直接与后级模块连接，因此需要阻抗匹配。另外，驻极体麦克风灵敏度一般为
‑
60～
‑
30db，环境声音信号经过麦克风后电压幅值比较低，只有几毫伏，系统不能直接处理这种小信号，易造成较大的误差。为达到较好的唤醒和识别效果，增加放大电路，提高环境声音信号的处理准确率。则此时执行本步骤生成对应的环境声音信号可以分为如下两个步骤：
54.s1021：对环境声音数据进行阻抗匹配，得到待处理声音信号；
55.s1022：利用放大电路放大待处理声音信号的电压幅值，得到环境声音数据对应的环境声音信号。
56.当然麦克风阵列还可以采用电容麦克风等其他麦克风，则在生成对应环境声音信号时，可以采用不同的环境声音优化方式，在此不一一举例说明。
57.s103：若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。
58.本步骤中，当同一时间段内多媒体音频信号和环境声音信号具备信号一致性时，对所述环境声音信号进行回声消除，从而降低环境声音信号中显示设备所发出的多媒体音频信号对用户语音指令的干扰。容易理解的是，本步骤默认在本步骤之前，或者在本步骤执行时进行同一时间段内多媒体音频信号和环境声音信号二者信号一致性的判断过程。本实施例对于如何实现信号一致性的判断不作具体限定。具体的，可以对多媒体音频信号和环境声音信号进行信号参数的比对，包括但不限于频率、幅值和相位之间的比对，且该比对过程为对以上信号参数中的至少一种进行比对，从而判定多媒体音频信号和环境声音信号是否具备信号一致性。
59.在本实施例的基础上，在执行回声消除前，可以先对环境声音信号进行优化处理，例如实现麦克风增益等。即先对环境声音信号进行时域到频域的转换，再对经过转换得到的信号执行麦克风增益，此后可以计算在同一时间段内多媒体音频信号和环境声音信号的一致性差异。麦克风增益能够较大地提高环境声音信号的输入范围，小信号输入下能够实现增益，而在大信号时不会有截幅。确保小信号输入时，增益值增加，信号能够足够放大。大信号输入时，增益值减少，保证信号不失真。
60.在多媒体音频信号和环境声音信号具备信号一致性时，执行回声消除，在此对于如何进行回声消除不作具体限定，例如可以采用语音自适应算法模拟回声信号，并从麦克风阵列采集的环境声音信号中减去模拟回声，实现回声消除。具体的，本步骤可以将多媒体音频信号作为参考信号，利用语音自适应回声消除算法对环境声音信号进行回声消除，从而得到语音操作指令。该语音操作指令由于去除了多媒体音频信号，相当于麦克风阵列接收的环境声音数据中去除了显示设备发出的声音，降低了显示设备外放声音对语音设备控
制过程的干扰。
61.当然，若在同一时间段内多媒体音频信号和环境声音信号不具备信号一致性，还可以生成噪音提示，以提示用户当前显示设备的声音较大，影响语音设备对用户语音指令的识别。该噪音提示可直接由语音设备通过音箱发出，或者将噪音提示返回至显示设备，以在显示设备上显示相应的文字提示。
62.本技术实施例通过获取显示设备输出的多媒体音频信号，并获取麦克风阵列采集到的环境声音数据，包含显示设备发出的声音信号及其他声音，进而计算两个信号的在同一时间内的信号一致性，若二者具备信号一致性，则可以直接基于多媒体音频信号对麦克风阵列获取的环境声音信号进行回声消除，能够有效增强回声消除效果，提高声音信号的信噪比，从而提升用户体验
63.下文针对如何计算在同一时间段内所述多媒体音频信号和所述环境声音信号的一致性差异进行具体描述，参见图2，图2为本实施例提供的信号一致性比对过程流程图，其过程可以包括如下步骤：
64.s201：在多媒体音频信号和环境声音信号内分别截取相同数量的第一样本信号和第二样本信号；其中，样本信号包括信号的频率、幅值和相位；
65.s202：计算相同频率下第一样本信号和第二样本信号的幅值差和相位差；
66.s203：若在目标频率下幅值差和相位差均满足对应的置信区间，判定多媒体音频信号和环境声音信号在目标频率时可信；
67.s204：根据可信的频率数确定置信度，当置信度大于预设置信度时，确定多媒体音频信号和环境声音信号具备信号一致性。
68.第一样本信号源于多媒体音频信号，第二样本信号源于环境声音信号。在截取样本时，所参考的频率范围可以由本领域技术人员自由设定，通常可以参考人类发声频率。以相同间隔或者不等间隔截取样本信号。在此对于置信区间和预设置信度均不作限定，同样可以由本领域技术人员进行相应的设定。容易理解的是，预设置信度越高，多媒体音频信号与环境声音信号的相似度越高。
69.下文举例说明上述过程：
70.由于人声的频率f范围为100hz～10kz，在这一范围中按照相同间隔分别在多媒体音频信号和环境声音信号两个信号截取1000个样本：
71.多媒体音频信号的频率、幅值和相位如下：
72.频率：f1，f2，f3，
……
，f1000；
73.幅值：a1，a2，a3，
……
，a1000；
74.相位：b1，b2，b3，
……
，b1000；
75.环境声音信号的频率、幅值和相位如下：
76.频率：f1，f2，f3，
……
，f1000；且f1＝f1，f2＝f2，
……
f1000＝f1000；
77.幅值：a1，a2，a3，
……
，a1000；
78.相位：b1，b2，b3，
……
，b1000；
79.计算多媒体音频信号和环境声音信号两个信号在这1000个样本在频域内的幅值差
△
m和相位差
△
n，即：
80.δm1＝a1
‑
a1；
81.δm2＝a2
‑
a2；
82.……
83.δm
1000
＝a1000
‑
a1000；
84.δn1＝b1
‑
b1；
85.δn2＝b2
‑
b2；
86.……
87.δn
1000
＝b1000
‑
b1000；
88.此处假设幅值差和相位差的置信区间，如表1所示，幅值差置信区间为0db＜δm
x
＜mdb；相位差置信区间为0
°
＜δn
x
＜n
°
。
89.表1幅值差和相位差的置信区间
90.ꢀꢀ
置信区间下限置信区间上限幅值差
△
mx0dbmdb相位差
△
nx0
°
n
91.如果目标频率fx的幅值差
△
mx和相位差
△
nx均满足预设的置信区间内，则认为多媒体音频信号和环境声音信号在频率点fx是可信的，当有任意一个幅值差或者相位差不满足置信区间，则认为目标频率fx不可信。统计落可信的频率数p，当置信度δ满足：δ＝p/1000＞95％时，多媒体音频信号和环境声音信号两个信号具有一致性，多媒体音频信号能够作为环境声音信号有效的参考信号执行回声消除，两个信号具有一致性，否则两个信号不具有一致性。
92.参见图3，图3为本实施例提供的语音设备与显示设备执行语音控制交互时结构示意图，图3中，主要包括语音设备和显示设备，其中语音设备包括语音设备前端处理模块和语音设备后端处理模块。具体的，在实现如上述实施例的语音设备控制过程中，显示设备通过hdmi接口将多媒体数据输出至语音设备后端处理模块的hdmi输入模块，再发送至系统终端处理模块处理，在系统终端处理模块中可以从多媒体数据中分离出多媒体音频数据，并将该音频信号进行时域到频域的转换，得到多媒体音频信号，并将多媒体音频信号发送至信号比较模块。
93.另一方面，语音设备前端处理模块包括麦克风阵列，和阻抗匹配、放大电路。可以从图3看出，麦克风阵列能接收到显示设备的外放声音、外界噪音和用户语音，经过阻抗匹配、放大电路处理后传至语音设备后端处理模块的ad采样模块。
94.在语音设备后端处理模块中，ad采样模块用于执行数据采样，能够较大地提高声音信号的输入范围，小信号输入下能够唤醒，大信号时不会有截幅。fft(fast fourier transform，快速傅里叶变换)变换模块将采样放大后的信号进行时域到频域的转换。
95.信号比较模块用于计算多媒体音频信号和环境声音信号的趋势一致性差异并给出判定结果。若在同一时间段内多媒体音频信号和环境声音信号具备信号一致性，回声消除模块基于所述多媒体音频信号对环境声音信号进行回声消除，此后语音操作执行模块可以进行用户语音识别处理。此外，也可以由系统终端处理模块执行语音操作执行模块所执行的数据处理。
96.下面对本技术实施例提供的语音设备控制系统进行介绍，下文描述的语音设备控制系统与上文描述的语音设备控制方法可相互对应参照。
97.参见图4，图4为本技术实施例所提供的一种语音设备控制系统结构示意图，本技术还提供一种语音设备控制系统，包括：
98.多媒体信号获取模块100，用于获取显示设备输出的多媒体音频信号；
99.环境声音采集模块200，用于利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；
100.信号比对控制模块300，用于若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。
101.基于上述实施例，作为优选的实施例，多媒体信号获取模块100包括：
102.获取单元，用于获取显示设备输出的多媒体数据；
103.信号分离单元，用于对所述多媒体数据进行信号分离，得到多媒体音频数据；
104.信号处理单元，用于对所述多媒体音频数据进行频域转换，得到多媒体音频信号。
105.基于上述实施例，作为优选的实施例，环境声音采集模块200包括：
106.阻抗匹配单元，用于对所述环境声音数据进行阻抗匹配，得到待处理声音信号；
107.信号放大单元，用于利用放大电路放大所述待处理声音信号的电压幅值，得到所述环境声音数据对应的环境声音信号。
108.基于上述实施例，作为优选的实施例，还包括：
109.噪音过大提示模块，用于若在同一时间段内所述多媒体音频信号和所述环境声音信号不具备信号一致性，生成噪音提示。
110.基于上述实施例，作为优选的实施例，还包括：
111.信号处理模块，用于对所述环境声音信号进行时域到频域的转换，并计算在同一时间段内所述多媒体音频信号和所述环境声音信号的一致性差异。
112.基于上述实施例，作为优选的实施例，所述信号处理模块包括：
113.信号截取单元，用于在所述多媒体音频信号和所述环境声音信号内分别截取相同数量的第一样本信号和第二样本信号；其中，所述样本信号包括信号的频率、幅值和相位；
114.信号截取单元，用于计算相同频率下所述第一样本信号和所述第二样本信号的幅值差和相位差；
115.可信判定单元，用于若在目标频率下所述幅值差和所述相位差均满足对应的置信区间，判定所述多媒体音频信号和所述环境声音信号在所述目标频率时可信；
116.一致性判定单元，用于根据可信的频率数确定置信度，当所述置信度大于预设置信度时，确定所述多媒体音频信号和所述环境声音信号具备信号一致性。
117.基于上述实施例，作为优选的实施例，信号比对控制模块300包括：
118.回声消除单元，用于将所述多媒体音频信号作为参考信号，利用语音自适应回声消除算法，对所述环境声音信号进行回声消除，得到语音操作指令。
119.本技术还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
120.本技术还提供了一种语音设备，可以包括存储器和处理器，所述存储器中存有计
算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的本技术还提供了一种语音设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的语音设备控制方法的步骤。当然所述语音设备还可以包括各种网络接口，电源等组件，例如该语音设备可以具体为包含蓝牙功能和语音识别功能的智能音箱，或者为包含gprs功能和语音识别功能的智能音箱等。请参见图5，图5为本技术实施例所提供的一种语音设备的结构示意图，本实施例的语音设备可以包括：处理器2101和存储器2102。
121.可选的，该语音设备还可以包括通信接口2103、输入单元2104和显示器2105和通信组件2106。
122.处理器2101、存储器2102、通信接口2103、输入单元2104均通过通信组件2105完成相互间的通信。
123.在本技术实施例中，该处理器2101，可以为中央处理器(central processing unit，cpu)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
124.该处理器可以调用存储器2102中存储的程序。具体的，处理器可以执行上文的实施例中语音设备所执行的操作。
125.存储器2102中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本技术实施例中，该存储器中至少存储有用于实现以下功能的程序：
126.获取显示设备输出的多媒体音频信号；
127.利用麦克风阵列采集环境声音数据，生成对应的环境声音信号；所述环境声音数据包括语音操作指令和所述显示设备的声音数据；
128.若在同一时间段内所述多媒体音频信号和所述环境声音信号具备信号一致性，基于所述多媒体音频信号对所述环境声音信号进行回声消除，得到所述语音操作指令，以便语音设备执行所述语音操作指令对应的操作。
129.在一种可能的实现方式中，该存储器2102可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如话题检测功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据。
130.此外，存储器2102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
131.该通信接口2103可以为通信模块的接口，如gsm模块的接口，以及还可以包括多媒体信号相应的接口，例如dvi接口或者hdmi接口等等。
132.图5所示的语音设备的结构并不构成对本技术实施例中语音设备的限定，在实际应用中语音设备可以包括比图5所示的更多或更少的部件，或者组合某些部件。
133.说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
134.本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说
明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
135.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。