显示设备及回声消除方法与流程

1.本技术涉及显示设备技术领域，尤其涉及一种显示设备及回声消除方法。


背景技术：

2.随着语音识别技术的飞速发展，语音交互已经成为一种重要的人机交互方式。根据人机交互的距离不同，语音交互可分为近场交互和远场交互，其中，在部分应用场景下，如与智能电视进行语音交互时，远场交互对于用户来说更为方便。
3.在远场交互时，为避免人特意去增大音量，可在智能电视的多个不同位置分别设置麦克风来提高用户声音的收集能力。然而，当智能电视处于播放状态时，麦克风的数量越多，意味着回声越复杂；另外，对于具有多声道的智能电视来说，多个扬声器分布在不同位置，这将进一步增加回声复杂度。为提高语音识别准确性，需要进行回声消除。
4.相关技术中，通过将所有的声道按照左右声道进行混音，即将智能电视左侧全部声道的信号混成一路，右侧全部声道的信号混成一路，从而形成和传统2.0声道一样的两路参考信号，利用参考信号抵消麦克风实际收到的部分声音，实现回声消除。然而，由于不同声道在不同频段上重叠的部分，在物理空间上的声音，经过电路混音后，会有部分频段的声音丢失，同时在空间上的时延信息也丢失等语音，容易导致回声消除效果不佳，进而导致远场交互的体验变差。


技术实现要素：

5.为解决上述技术问题，本技术提供了一种显示设备及回声消除方法。
6.第一方面，本技术提供了一种显示设备，该显示设备包括：
7.显示器；
8.麦克风阵列，包括分布在第一区域和第二区域的麦克风；
9.扬声器阵列，包括分布在所述第一区域的扬声器和所述第二区域的扬声器；
10.控制器，分别与所述显示器、麦克风阵列和扬声器阵列连接，所述控制器被配置为：
11.分别获取所述扬声器的系统参考信号和所述麦克风接收的音频信号；
12.根据所述系统参考信号计算第一滤波器的系数，所述第一滤波器用于滤波所述第一区域的扬声器产生的回声第一滤波器的系数；
13.根据所述麦克风阵列和扬声器阵列的位置关系，对所述第一滤波器的系数进行补偿，得到第二滤波器的系数，所述第二滤波器用于滤波所述第二区域的扬声器产生的回声；
14.根据所述系统参考信号、第一滤波器的系数、第二滤波器的系数对所述音频信号进行回声消除，得到纯净信号。
15.在一些实施例中，所述第一区域和第二区域关于所述显示器的中轴线对称，所述第一区域的麦克风和第二区域的麦克风关于所述中轴线对称，所述第一区域的扬声器和第二区域的扬声器关于所述中轴线对称。
16.在一些实施例中，所述根据所述麦克风阵列和扬声器阵列的位置关系，对所述第一滤波器的系数进行补偿，得到第二滤波器的系数，包括：
17.计算所述第一区域和第二区域对称位置的扬声器到每个所述麦克风之间的声音衰减比；
18.计算所述第一区域和第二区域对称位置的扬声器之间的功放比；
19.根据所述声音衰减比和功放比的乘积对所述第一滤波器的系数进行补偿，得到所述第二滤波器的系数。
20.第一滤波器的系数第一滤波器的系数4、根据权利要求1所述的显示设备，其特征在于，所述根据所述系统参考信号计算第一滤波器的系数第一滤波器的系数，包括：
21.根据所述系统参考信号对所述第一扬声器进行自适应滤波器的系数计算，得到所述第一滤波器的系数。
22.第二方面，本技术实施例提供了一种回声消除方法，用于第一方面所述的显示设备，该方法包括：
23.分别获取扬声器的系统参考信号和麦克风接收的音频信号；
24.根据所述系统参考信号计算第一滤波器的系数，所述第一滤波器用于滤波所述第一区域的扬声器产生的回声第一滤波器的系数；
25.根据所述麦克风阵列和扬声器阵列的位置关系，对所述第一滤波器的系数进行补偿，得到第二滤波器的系数，所述第二滤波器用于滤波所述第二区域的扬声器产生的回声第一滤波器的系数第二滤波器的系数；
26.根据所述系统参考信号、第一滤波器的系数、第二滤波器的系数对所述音频信号进行回声消除，得到所述音频信号对应的纯净信号。
27.在一些实施例中，所述第一区域和第二区域关于所述显示器的中轴线对称，所述第一区域的麦克风和第二区域的麦克风关于所述中轴线对称，所述第一区域的扬声器和第二区域的扬声器关于所述中轴线对称。
28.本技术提供的显示设备及回声消除方法的有益效果包括：
29.本技术实施例通过将显示设备的显示区域分为对称的第一区域和第二区域，计算用于滤除第一区域的扬声器与麦克风之间的回声的第一滤波器的系数，再根据第一区域和第二区域之间扬声器及麦克风之间的位置关系，对第一滤波器的系数进行补偿，得到第二滤波器的系数，根据系统参考信号、第一滤波器的系数、第二滤波器的系数对所述音频信号进行回声消除，得到纯净信号。本技术实施例通过对每个扬声器与麦克风之间的回声分别利用对应的第一滤波器的系数或第二滤波器的系数进行滤波，能够提高远场交互的打断唤醒率，其中，第二滤波器的系数根据第一滤波器的系数进行补偿得到，与根据系统参考信号计算相比计算工作量较小，能够保障了远场交互的唤醒响应速度，本技术实施例能够提升远场交互的用户体验。
附图说明
30.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；
32.图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图；
33.图3中示例性示出了根据一些实施例的控制装置100的硬件配置框图；
34.图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图；
35.图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图；
36.图6中示例性示出了根据一些实施例的麦克风阵列和扬声器阵列的分布示意图；
37.图7中示例性示出了根据一些实施例的根据一些实施例的音频传输示意图；
38.图8中示例性示出了根据一些实施例的回声消除方法的流程示意图；
39.图9中示例性示出了根据一些实施例的回声消除示意图；
40.图10中示例性示出了根据一些实施例的第二滤波器的系数的计算方法示意图。
具体实施方式
41.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
42.基于本技术描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术所附权利要求保护的范围。此外，虽然本技术中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
43.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
44.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本技术实施例图示或描述中给出那些以外的顺序实施。
45.此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
46.本技术中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
47.本技术中使用的术语“遥控器”，是指电子设备(如本技术中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(rf)信号和/或蓝牙与电子设备连接，也可以包括wifi、无线usb、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
48.本技术中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，
用于表达预期想法、动作、目的/或结果的用户行为。
49.图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。
50.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
51.在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(ui)中为用户提供各种控制。
52.在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以实现用移动终端300与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上用户界面，实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能。
53.如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(epg)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
54.显示设备200，可以液晶显示器、oled显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。
55.显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(iptv)等。
56.图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
57.在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
58.在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。
59.在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。
60.在一些实施例中，显示视频内容，可以来自广播电视内容，也可以是说，可通过有线或无线通信协议接收的各种广播信号。或者，可显示来自网络通信协议接收来自网络服
务器端发送的各种图像内容。
61.在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控ui界面。
62.在一些实施例中，根据显示器275类型不同，还包括用于驱动显示的驱动组件。
63.在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
64.在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。
65.在一些实施例中，显示设备200可以通过通信器220与外部控制装置100或内容提供设备之间建立控制信号和数据信号发送和接收。
66.在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。
67.在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。
68.在一些实施例中，检测器230包括光接收器，用于采集环境光线强度的传感器，可以通过采集环境光可以自适应性显示参数变化等。
69.在一些实施例中，检测器230还可以包括图像采集器，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
70.在一些实施例中，检测器230还可以包括温度传感器等，如通过感测环境温度。
71.在一些实施例中，显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调，或当温度偏低的环境时，可以调整显示设备200显示图像偏暖色调。
72.在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应适应环境噪声。
73.在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
74.在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口hdmi接口、模拟或数据高清分量输入接口、复合视频输入接口、usb输入接口、rgb端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
75.在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及epg数据信号。
76.在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可
根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
77.在一些实施例中，广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号，模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
78.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。
79.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
80.在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。用于选择ui对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
81.如图2所示，控制器250包括随机存取存储器251(random access memory，ram)、只读存储器252(read-only memory,rom)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(graphics processing unit，gpu)、中央处理器254(central processing unit，cpu)、通信接口(communication interface)，以及通信总线256(bus)中的至少一种。其中，通信总线连接各个部件。
82.在一些实施例中，ram 251用于存储操作系统或其他正在运行中的程序的临时数据。
83.在一些实施例中，rom 252用于存储各种系统启动的指令。
84.在一些实施例中，rom 252用于存储一个基本输入输出系统，称为基本输入输出系统(basic input output system，bios)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
85.在一些实施例中，在收到开机信号时，显示设备200电源开始启动，cpu运行rom 252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至ram 251中，以便于启动或运行操作系统。当操作系统启动完成后，cpu再将存储器中各种应用程序的临时数据拷贝至ram 251中,然后，以便于启动或运行各种应用程序。
86.在一些实施例中，cpu处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
87.在一些示例性实施例中，cpu处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等
状态下一种操作。
88.在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
89.在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧数转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。
90.在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧数转换模块、显示格式化模块等。
91.其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入mpeg-2,则解复用模块进行解复用成视频信号和音频信号等。
92.视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
93.图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
94.帧数转换模块，用于对转换输入视频帧数，如将60hz帧数转换为120hz帧数或240hz帧数，通常的格式采用如插帧方式实现。
95.显示格式化模块，则用于将接收帧数转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
96.在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如gpu frc(frame rate conversion))架构。
97.在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
98.在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。
99.在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。
100.在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发声装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。
101.供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。
102.用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。
103.在一些实施例中，用户通过控制装置100或移动终端300输入用户命令，用户输入接口则根据用户的输入，显示设备200则通过控制器250响应用户的输入。
104.在一些实施例中，用户可在显示器275上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
105.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
106.存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
107.基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
108.例如，语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块，可以用于播放多媒体图像内容和ui界面等信息。通信模块，用于与外部设备之间进行控制和数据通信的模块。浏览器模块，用于执行浏览服务器之间数据通信的模块。服务模块，用于提供各种服务以及各类应用程序在内的模块。同时，存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
109.图3示例性示出了根据示例性实施例中控制装置100的配置框图。如图3所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
110.控制装置100被配置为控制显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。
111.在一些实施例中，控制装置100可是一种智能设备。如：控制装置100可根据用户需求安装控制显示设备200的各种应用。
112.在一些实施例中，如图1所示，移动终端300或其他智能电子设备，可在安装操控显示设备200的应用之后，可以起到控制装置100类似功能。如：用户可以通过安装应用，在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制装置100实体按键的功能。
113.控制器110包括处理器112和ram 113和rom 114、通信接口130以及通信总线。控制器用于控制控制装置100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。
114.通信接口130在控制器110的控制下，实现与显示设备200之间控制信号和数据信
号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信接口130可包括wifi芯片131、蓝牙模块132、nfc模块133等其他近场通信模块中至少之一种。
115.用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。
116.输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
117.在一些实施例中，控制装置100包括通信接口130和输入输出接口140中至少一者。控制装置100中配置通信接口130，如：wifi、蓝牙、nfc等模块，可将用户输入指令通过wifi协议、或蓝牙协议、或nfc协议编码，发送至显示设备200。
118.存储器190，用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。
119.供电电源180，用于在控制器的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
120.在一些实施例中，系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
121.参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
122.在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序，比如嗨见程序、k歌程序、魔镜程序等。在具体实施时，应用程序层中的应用程序包不限于以上举例，实际还可以包括其它应用程序包，本技术实施例对此不做限制。
123.框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
124.如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于
检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
125.在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
126.在一些实施例中，窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
127.在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c 库以实现框架层要实现的功能。
128.在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。
129.在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。
130.在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
131.在一些实施例中，对于具备触控功能的显示设备，以分屏操作为例，显示设备接收用户作用于显示屏上的输入操作(如分屏操作)，内核层可以根据输入操作产生相应的输入事件，并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口，然后将绘制的窗口数据发送给内核层的显示驱动，由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
132.在一些实施例中，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
133.在一些实施例中，直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
134.在一些实施例中，视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
135.在一些实施例中，媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
136.在一些实施例中，应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他
应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
137.在一些实施例中的硬件或软件架构可以基于上述实施例中的介绍，在一些实施例中可以是基于相近的其他硬件或软件架构，可以实现本技术的技术方案即可。
138.在一些实施例中，应用程序中心可设置有语音助手应用实现智能语音业务，如搜索媒资、调节音量等业务。用户可通过向显示设备发出语音信号的方式来唤醒语音助手应用，该语音信号可为一些预设的唤醒词，在语音助手应用唤醒后，用户可与语音助手应用进行交互，对显示设备进行语音控制。
139.在一些实施例中，当用户向显示设备输入语音信号，如唤醒词时，显示设备未播放音视频，显示设备上的麦克风接收到的音频信号包括用户的语音信号和显示设备所处环境的噪音信号，由于噪音信号通常音量较小且与用户的语音信号差别较大，因此，这种情况下，显示设备的控制器接收到并准确识别语音信号的概率较高，较易唤醒语音助手应用，该接收到并准确识别语音信号的概率可称为打断唤醒率，语音助手应用响应语音信号的速度可称为唤醒响应速度。
140.在一些实施例中，当用户向显示设备输入语音信号，如唤醒词时，显示设备正在播放音视频，显示设备上的麦克风接收到的音频信号除了用户的语音信号和噪音信号之外，还有显示设备正在播放的音频信号，该显示设备正在播放的音频信号可称为回声，由于回声的音量可能较大，且回声中可能也会包含人声，容易覆盖用户的语音信号，会对语音信号造成干扰导致显示设备的打断唤醒率较低，不易唤醒语音助手应用，通过消除回声可提高打断唤醒率，但相应的，如果消除算法过于复杂，将会导致唤醒响应速度明显降低，影响用户体验。
141.在一些实施例中，为方便用户在距离显示设备较远时也能对显示设备进行语音控制，显示设备可设置有包括多个不同位置麦克风的麦克风阵列，来提高用户声音信号的收集能力。
142.在一些实施例中，为提高显示设备的声音效果，显示设备可设置有包括多个分布在不同位置扬声器的扬声器阵列。
143.参见图6，为根据一些实施例的麦克风阵列和扬声器阵列的分布示意图。如图6所示，麦克风阵列500可分布在显示设备的上边框处，扬声器阵列可分布在显示设备的上边框和下边框处，扬声器阵列可包括扬声器601、扬声器602、扬声器603、扬声器604、扬声器605和扬声器606。
144.参见图7，为根据一些实施例的音频传输示意图。如图7所示，麦克风阵列可包括6个麦克风，分别为麦克风1、麦克风2、麦克风3、麦克风4、麦克风5和麦克风6。扬声器阵列可包括6个扬声器，分别为扬声器a、扬声器b、扬声器c、扬声器d、扬声器e和扬声器f，其中，扬声器a可为图6中的扬声器601，扬声器b可为图6中的扬声器602，扬声器c可为图6中的扬声器603，扬声器d可为图6中的扬声器604，扬声器e可为图6中的扬声器605，扬声器f可为图6中的扬声器606。
145.图7中，麦克风与扬声器之间的线条表示扬声器发出的声音可传输至麦克风，虚线表示显示设备的中轴线。麦克风阵列和扬声器阵列可对称分布在显示设备的中轴线两侧，显示设备中轴线左侧的区域为左声道区域，显示设备中轴线右侧的区域为右声道区域，左
声道区域可称为第一区域，右声道区域可称为第二区域，或，左声道区域可为第二区域，右声道区域为第二区域。
146.可见，麦克风1-麦克风6分别能接收到扬声器a-扬声器f的回声，其中，麦克风1与麦克风6的回声路径相对称，麦克风2与麦克风5的回声路径相对称，麦克风3与麦克风4的回声路径相对称。
147.需要说明的是，实际实施中，受到显示设备内部空间构造、麦克风与扬声器各自的位置误差等影响，回声路径可能难以达到完全对称。
148.基于图7所示的音频传输示意图，为在保障较快的唤醒响应速度的基础上提高打断唤醒率，本技术实施例提供了一种回声消除方法，参见图8，该回声消除方法可包括以下步骤：
149.步骤s110：分别获取扬声器的系统参考信号和麦克风接收的音频信号。
150.在一些实施例中，当用户向显示设备输入语音信号时，显示设备正在播放媒资，显示设备的控制器可获取系统当前正在播放的媒资数据以及每个麦克风接收的音频信号，对媒资数据进行分析，得到每个所述扬声器正在播放的媒资音频信号，该媒资音频信号可称为系统参考信号。麦克风接收的音频信号包括上述语音信号和媒资音频信号。
151.在一些实施例中，当用户向显示设备输入语音信号后，麦克风的音频信号会包含该语音信号。
152.例如，麦克风1～麦克风6的音频信号可为：m1～m6。
153.步骤s120：根据所述系统参考信号计算第一滤波器的系数，所述第一滤波器用于滤波所述第一区域的扬声器产生的回声。
154.在一些实施例中，可为每个扬声器和麦克风之间传输的音频信号配置一个回声滤波器来滤除回声，滤波器的总数量为扬声器的数量与麦克风的数量的乘积。第一区域的扬声器与麦克风之间的回声滤波器可称为第一滤波器，第一滤波器的滤波系数称为第一滤波器的系数；第二区域的扬声器与麦克风之间的回声滤波器可称为第二滤波器，第二滤波器的滤波系数称为第二滤波器的系数。
155.例如，在图7所示的音频传输示意图中，回声滤波器的数量共36个，第一滤波器的系数可包括：w1a～w6a、w1b～w6b、w1c～w6c。第二滤波器的系数可包括：w1d～w6d、w1e～w6e、w1f～w6f。
156.在一些实施例中，回声滤波器可采用自适应滤波器，根据系统参考信号可对第一扬声器进行自适应滤波器的系数计算，得到第一滤波器的系数。
157.参见图9，为根据一些实施例的回声消除示意图，如图9所示，对于一个远端输入信号x(n)，经过未知的回声路径w(n)后得到信号y(n)，y(n)＝x(n)*w(n)，再加上观测噪声v(n)后得到期望信号d(n)，d(n)＝y(n) v(n)。x(n)通过自适应滤波器w^(n)后得到估计的回声信号为w^t(n)x(n)，将期望信号d(n)与估计的回声信号相减得到误差信号e(n)，即e(n)＝d(n)-w^t(n)x(n)，误差信号的值越小说明自适应滤波器所估计的回声路径就越接近实际的回声路径。
158.采用自适应算法调整自适应滤波器的权值向量，使估计的回声路径w^(n)逐渐趋近于真实回声路径w(n)。显然，在aec(acoustic echo cancelation，声学回声消除)问题中，自适应滤波器的选择对回声消除的性能好坏起着十分关键的作用。下面以自适应算法
为lms(least mean square，最小均方)算法为例对自适应滤波器地调整过程进行说明。
159.运用最小均方误差准则，通过对估计的回声信号求导并令其等于0，求到使得误差|e(n)|2最小时的w(n)，其中，由于|e(n)|在最小点不可导，因此使用|e(n)|2来计算w(n)，在lms算法中，其滤波器的系数迭代公式为：
[0160][0161]
滤波器的系数的迭代过程可包括三方面：
[0162]
1、通过fir滤波器输出y(n)：
[0163][0164]
(2)式中，i表示采样点的索引，n最大的采样点数，如n＝3200。
[0165]
2、根据(2)式计算误差：
[0166]
e(n)＝d(n)-y(n)
ꢀꢀ
(3)
[0167]
3、对fir向量进行权值更新，以准备下一次迭代，直到根据最小均方误差准则得到稳态收敛，此时，权值向量即为所求的滤波器的系数，其中，fir向量即权值向量2μe(n)，权值更新公式如下：
[0168]
w(n 1)＝w(n) 2μe(n)x(n)
ꢀꢀ
(4)
[0169]
步骤s130：根据所述麦克风阵列和扬声器阵列的位置关系，对所述第一滤波器的系数进行补偿，得到第二滤波器的系数，所述第二滤波器用于滤波所述第二区域的扬声器产生的回声。
[0170]
在一些实施例中，第一区域的扬声器和第二区域的扬声器之间的位置关系可为对称关系，如扬声器a与扬声器f关于显示设备的中轴线对称，扬声器b与扬声器d关于显示设备的中轴线对称，扬声器c与扬声器d关于显示设备的中轴线对称。
[0171]
在一些实施例中，第一区域的麦克风和第二区域的麦克风的位置关系可为对称关系可为对称关系，如扬声器a与扬声器f关于显示设备的中轴线对称，扬声器b与扬声器d关于显示设备的中轴线对称，扬声器c与扬声器d关于显示设备的中轴线对称。
[0172]
根据上述对称关系，可对第一滤波器的系数进行补偿，得到第二滤波器的系数。参见图10，为根据一些实施例的第二滤波器的系数的计算方法示意图，如图10所示，该计算方法可包括步骤s310-s330。
[0173]
步骤s310：计算所述第一区域和第二区域对称位置的扬声器到每个所述麦克风之间的声音衰减比。
[0174]
在一些实施例中，滤波器的滤波差异受声音衰减差异影响，根据声音衰减公式为：adiv＝10lg[1/(4πr^2)]，可计算所述第一区域和第二区域对称位置的扬声器到每个所述麦克风之间的声音衰减比x1，其中，r为声音路径长度，具体可通过预先测量麦克风与扬声器之间的距离得到，计算公式如下：
[0175]
x1＝10lg(l1a/l6f)
ꢀꢀ
(5)
[0176]
(5)式中，l1a为扬声器a到达麦克风1的距离，l1a为扬声器a到达麦克风1的距离，l6f为扬声器f到达麦克风6的距离。
[0177]
步骤s320：计算所述第一区域和第二区域对称位置的扬声器之间的功放比。
[0178]
在一些实施例中，滤波器的滤波差异受扬声器之间的功放比影响，计算所述第一区域和第二区域对称位置的扬声器之间的功放比x2，计算公式如下：
[0179]
x2＝pa/pf
ꢀꢀ
(6)
[0180]
(6)式中，pa为扬声器a的功率，pf为扬声器f的功率。
[0181]
步骤s330：根据所述声音衰减比和功放比的乘积对所述第一滤波器的系数进行补偿，得到所述第二滤波器的系数。
[0182]
根据声音衰减比x1与功放比x2的乘积，可得到第一滤波器和第二滤波器之间的滤波差异如下：
[0183]
c1＝10lg(l1a/l6f)*pa/pf；c2＝10lg(l2a/l5f)*pb/pe；c3＝10lg(l3a/l4f)*pc/pd；
[0184]
d1＝10lg(l1b/l6e)*pb/pe；d2＝10lg(l2b/l5e)*pb/pe；d3＝10lg(l3b/l4e)*pb/pe；
[0185]
e1＝10lg(l1c/l6d)*pc/pd；e2＝10lg(l2c/l5d)*pc/pd；e3＝10lg(l3c/l4d)*pc/pd
ꢀꢀ
(7)
[0186]
(7)式中，c1为第一滤波器的系数w1a与第二滤波器的系数w6f之间的滤波差异系数，其中，滤波差异系数用于表征两个滤波器的滤波性能差距，c2为第一滤波器的系数w2a与第二滤波器的系数w5f之间的滤波差异系数，c3为第一滤波器的系数w3a与第二滤波器的系数w4f之间的滤波差异系数，d1为第一滤波器的系数w1b与第二滤波器的系数w6e之间的滤波差异系数，d2为第一滤波器的系数w2b与第二滤波器的系数w5e之间的滤波差异系数，d3为第一滤波器的系数w3b与第二滤波器的系数w4e之间的滤波差异系数，e1为第一滤波器的系数w1c与第二滤波器的系数w6d之间的滤波差异系数，e2为第一滤波器的系数w2c与第二滤波器的系数w5d之间的滤波差异系数，e3为第一滤波器的系数w3c与第二滤波器的系数w4d之间的滤波差异系数。
[0187]
在一些实施例中，每个系统参考信号在物理位置上对麦克风是空间对称的，同时参考信号的数据也是对称的，也就是说，不考虑其他的空间反射因素，如混响因素，第一扬声器到达6颗麦克风的信息和对应位置的第二扬声器到达6颗麦克风的信息只有时延差，因此，在计算出第一滤波器的系数后，可根据滤波差异系数，对第一滤波器的系数进行空间位置补偿，得到第二滤波器的系数。
[0188]
例如，第二滤波器的系数可根据下式进行计算：
[0189]
w1a＝w6f*c1；w2a＝w5f*c2；w3a＝w4f*c3；
[0190]
w1b＝w6e*d1；w2b＝w5e*d2；w3b＝w4e*d3；
[0191]
w1c＝w6d*e1；w2c＝w5d*e2；w3c＝w4d*e3
ꢀꢀ
(8)
[0192]
步骤s140：根据所述系统参考信号、第一滤波器的系数、第二滤波器的系数对所述音频信号进行回声消除，得到纯净信号。
[0193]
在一些实施例中，计算出第一滤波器的系数和第二滤波器的系数后，可对音频信
号进行回声消除，计算公式如下：
[0194]
a1＝m1
–
ra*w1a
–
rb*w1b
–
rc*w1c
–
rd*w1d
–
re*w1e
–
rf*w1f
[0195]
a2＝m2
–
ra*w2a
–
rb*w2b
–
rc*w2c
–
rd*w2d
–
re*w2e
–
rf*w2f
[0196]
a3＝m3
–
ra*w3a
–
rb*w3b
–
rc*w3c
–
rd*w3d
–
re*w3e
–
rf*w3f
[0197]
a4＝m4
–
ra*w4a
–
rb*w4b
–
rc*w4c
–
rd*w4d
–
re*w4e
–
rf*w4f
[0198]
a5＝m5
–
ra*w5a
–
rb*w5b
–
rc*w5c
–
rd*w5d
–
re*w5e
–
rf*w5f
[0199]
a6＝m6
–
ra*w6a
–
rb*w6b
–
rc*w6c
–
rd*w6d
–
re*w6f
–
rf*w6f
ꢀꢀ
(9)
[0200]
(9)式中，m1为麦克风1接收到的音频信号，m2为麦克风2接收到的音频信号，m3为麦克风3接收到的音频信号，m4为麦克风4接收到的音频信号，m5为麦克风5接收到的音频信号，m6为麦克风6接收到的音频信号。
[0201]
ra为扬声器a的参考信号，rb为扬声器b的参考信号，rc为扬声器c的参考信号，rd为扬声器d的参考信号，re为扬声器e的参考信号，rf为扬声器f的参考信号。
[0202]
ra*w1a、ra*w1a、rc*w1c、ra*w2a、rb*w2b、rc*w2c、ra*w3a、rb*w3b、rc*w3c、ra*w4a、rb*w4b、rc*w4c、ra*w5a、rb*w5b、rc*w5c、ra*w6a、rb*w6b、rc*w6c为第一乘积信号，rd*w1d、re*w1e、rf*w1f、rd*w2d、re*w2e、rf*w2f、rd*w3d、re*w3e、rf*w3f、rd*w4d、re*w4e、rf*w4f、rd*w5d、re*w5e、rf*w5f、rd*w6d、re*w6f、rf*w6f为第二乘积信号。
[0203]
a1为麦克风1接收到的音频信号对应的纯净信号分量，a2为麦克风2接收到的音频信号对应的纯净信号分量，a3为麦克风3接收到的音频信号对应的纯净信号分量，a4为麦克风4接收到的音频信号对应的纯净信号分量，a5为麦克风5接收到的音频信号对应的纯净信号分量，a6为麦克风6接收到的音频信号对应的纯净信号分量。
[0204]
对全部纯净信号分量进行叠加，可得到音频信号对应的纯净信号。
[0205]
进一步的，显示设备的控制器可对所述纯净信号进行语音识别，得到用户请求，根据所述用户请求对显示设备进行控制。例如，对纯净信号进行语音识别后，得到用户请求为“减小音量”，则减小当前正在播放音视频的音量。
[0206]
由上述实施例可见，本技术实施例通过将显示设备的显示区域分为对称的第一区域和第二区域，计算用于滤除第一区域的扬声器与麦克风之间的回声的第一滤波器的系数，再根据第一区域和第二区域之间扬声器及麦克风之间的位置关系，对第一滤波器的系数进行补偿，得到第二滤波器的系数，根据系统参考信号、第一滤波器的系数、第二滤波器的系数对所述音频信号进行回声消除，得到纯净信号。本技术实施例通过对每个扬声器与麦克风之间的回声分别利用对应的第一滤波器的系数或第二滤波器的系数进行滤波，能够提高远场交互的打断唤醒率，其中，第二滤波器的系数根据第一滤波器的系数进行补偿得到，与根据系统参考信号计算相比计算工作量较小，能够保障了远场交互的唤醒响应速度，本技术实施例能够提升远场交互的用户体验。
[0207]
由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
[0208]
需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在
涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个
……”
限定的要素，并不排除在包括要素的电路结构、物品或者设备中还存在另外的相同要素。
[0209]
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本技术的其他实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求的内容指出。以上的本技术实施方式并不构成对本技术保护范围的限定。