拾音方法、装置和电子设备与流程

1.本技术涉及智能终端技术领域，特别涉及拾音方法、装置和电子设备。


背景技术：

2.市面上大多数终端类电子设备，比如智能手机、平板，都带有语音助手应用，它的主要作用是在用户不接触手机等电子设备的情况下，通过语音指令控制电子设备，完成一些低难度高频次的指令操作，比如播放音乐、查询天气、设置闹钟、拨打电话、地图导航等。
3.上述人机交互的流程一般包括：利用电子设备的麦克风拾取音频信号；通过前端增强算法从音频信号中估计出一路干净的语音信号；使用该语音信号进行语音唤醒和语音识别。前端增强算法主要通过噪声消除来提取干净的语音信号，噪声消除包括：回声消除、干扰抑制以及去除背景噪声等，回声消除中需要消除的回声一般是人机交互过程中电子设备的喇叭自发声，干扰抑制中的干扰一般是方向性噪声，比如客厅环境中的电视声音、车载环境中的车载喇叭声等。前端增强算法的性能直接影响到人机交互的成功率，最终影响用户体验。
4.以手机为例。前端增强算法主要利用手机上的麦克风进行噪声消除，考虑到功耗以及计算资源的限制，大多情况下只利用一个麦克风进行单麦降噪，该算法称之为单通道降噪算法。常见的单通道降噪算法有谱减法、维纳滤波算法、及深度学习法。单通道降噪算法对于不可预测的非平稳噪声没有效果，低信噪比条件下语音失真严重。
5.为了达到更好的降噪效果，基于两个麦克风的双通道降噪算法在电子设备上越来越普及，它主要应用于对功耗不敏感的场景，比如用户能够随时为电子设备充电的车载场景，利用位于手机顶部和底部的两个麦克风来进行噪声抑制。双通道降噪算法的主要思想是选取一个麦克风作为主麦，一个麦克风作为副麦，首先基于人声语音的谐波检测算法确定主麦数据中噪声的时频点信息，然后基于滤波的思想利用副麦噪声滤除主麦噪声，提高语音质量，达到降噪的思想。但是，谐波检测算法不能区分人声干扰和包含唤醒词的目标人声，对人声干扰基本很难消除。


技术实现要素：

6.本技术实施例提供了一种拾音方法，缓解语音失真问题、以及人声干扰消除不彻底问题。
7.第一方面，本技术实施例提供了一种拾音方法，包括：
8.获得用户相对电子设备的方位；电子设备设置有n个麦克风；n为大于等于3的整数；上述电子设备可以包括移动终端(手机)、电脑、pad、可穿戴设备、智慧屏、无人机、智能网联车(intelligent connected vehicle；以下简称：icv)、智能(汽)车(smart/intelligent car)或车载设备等设备；可选地，为了达到更好的拾音效果，n个麦克风在电子设备上可以分散设置，例如设置在电子设备的不同部位，每个麦克风设置的位置包括但不限于：电子设备的上部、下部、顶部、底部、屏幕所在的上表面、和/或背部等；
9.在电子设备的预设固定波束中，选择距离方位最近的固定波束作为主波束，按照距离方位从远到近的顺序选择至少一个固定波束作为副波束；预设固定波束的数量大于等于2；
10.当n个麦克风接收到声音信号时，使用主波束的波束形成系数计算声音信号的主输出信号，并且，使用副波束的波束形成系数计算声音信号的副输出信号；
11.使用副输出信号对主输出信号进行滤波处理，得到目标声音信号。
12.该方法中，获得用户相对电子设备的方位，通过该方位从电子设备的预设固定波束中选择主波束和副波束，从而能够更准确地从声音信号中获得目标声源的声音信号，有效地减少目标声音信号中的人声干扰；使用至少3个麦克风接收声音信号，由于电子设备壳体的影响，可以更好的区分噪声，增强滤波处理的效果，缓解低信噪比条件下的语音失真问题以及人声干扰消除不彻底问题。
13.在一种可能的实现方式中，获得用户相对电子设备的方位，包括：
14.获取电子设备的摄像头捕捉到的图像；
15.如果从图像中识别出电子设备的用户的人脸信息，根据人脸信息在图像中的位置信息，获得用户相对电子设备的方位；
16.如果从图像中未识别出用户的人脸信息，获取电子设备的摆放位置；根据摆放位置，获得用户相对电子设备的方位。
17.通过获得用户相对电子设备的方位，可以获得更加准确的目标人说话信息，为后续信号处理带来更多先验信息。
18.在一种可能的实现方式中，在电子设备的预设固定波束中，选择距离方位最近的固定波束作为主波束，按照距离方位从远到近的顺序选择至少一个固定波束作为副波束，包括：
19.计算方位针对每个固定波束的比值k；k
k
＝夹角δ
k
/波束宽度其中，k
k
是方位针对固定波束k的比值，夹角δ
k
是方位与固定波束k的方向之间的夹角，波束宽度是固定波束k的波束宽度；k＝1,2,
…
,m；m是固定波束的组数；
20.选择最小的比值对应的固定波束作为主波束，按照比值从大到小的顺序从最大的比值开始选择至少一个比值对应的固定波束作为副波束。
21.在一种可能的实现方式中，获得用户相对电子设备的方位之前，还包括：
22.获得m组固定波束的波束形成系数、方向、以及波束宽度，m为大于等于2的整数。
23.在一种可能的实现方式中，获得预设组数的固定波束的波束形成系数、方向、以及波束宽度，包括：
24.为电子设备建立三维笛卡尔坐标系；
25.获得n个麦克风在坐标系中的坐标；
26.根据n个麦克风的坐标计算目标声源在理想条件下的导向矢量；
27.获得电子设备壳体对麦克风的频域响应矩阵；
28.根据理想条件下的导向矢量以及频域响应矩阵计算目标声源的真实导向矢量；
29.根据真实导向矢量计算预设组数的固定波束的波束形成系数、方向、以及波束宽度。
30.第二方面，本技术实施例提供一种拾音装置，包括：
31.方位获得单元，用于获得用户相对电子设备的方位；电子设备设置有n个麦克风；n为大于等于3的整数；
32.波束选择单元，用于在电子设备的预设固定波束中，选择距离方位获得单元获得的方位最近的固定波束作为主波束，按照距离方位从远到近的顺序选择至少一个固定波束作为副波束；
33.信号计算单元，用于当n个麦克风接收到声音信号时，使用波束选择单元选择的主波束的波束形成系数计算声音信号的主输出信号，并且，使用波束选择单元选择的副波束的波束形成系数计算声音信号的副输出信号；
34.滤波单元，用于使用信号计算单元计算的副输出信号对主输出信号进行滤波处理，得到目标声音信号。
35.在一种可能的实现方式中，方位获得单元包括：
36.图像获取子单元，用于获取电子设备的摄像头捕捉到的图像；
37.方位获得子单元，用于如果从图像子单元获取到的图像中识别出电子设备的用户的人脸信息，根据人脸信息在图像中的位置信息，获得用户相对电子设备的方位；如果从图像子单元获取到的图像中未识别出用户的人脸信息，获取电子设备的摆放位置；根据摆放位置，获得用户相对电子设备的方位。
38.在一种可能的实现方式中，波束选择单元包括：
39.比值计算子单元，用于计算方位针对每个固定波束的比值k；k
k
＝夹角δ
k
/波束宽度其中，k
k
是方位针对固定波束k的比值，夹角δ
k
是方位与固定波束k的方向之间的夹角，波束宽度是固定波束k的波束宽度；k＝1,2,
…
,m；m是固定波束的组数；
40.波束选择子单元，用于在比值计算子单元计算的比值中，选择最小的比值对应的固定波束作为主波束，按照比值从大到小的顺序从最大的比值开始选择至少一个比值对应的固定波束作为副波束。
41.在一种可能的实现方式中，还包括：
42.波束获得单元，用于获得m组固定波束的波束形成系数、方向、以及波束宽度，m为大于等于2的整数。
43.在一种可能的实现方式中，波束获得单元包括：
44.坐标系建立子单元，用于为电子设备建立三维笛卡尔坐标系；
45.坐标获得子单元，用于获得n个麦克风在坐标系中的坐标；
46.理想导向矢量计算子单元，用于根据n个麦克风的坐标计算目标声源在理想条件下的导向矢量；
47.矩阵获得子单元，用于获得电子设备壳体对麦克风的频域响应矩阵；
48.真实导向矢量计算子单元，用于根据理想条件下的导向矢量以及频域响应矩阵计算目标声源的真实导向矢量；
49.固定波束计算子单元，用于根据真实导向矢量计算预设组数的固定波束的波束形成系数、方向、以及波束宽度。
50.第三方面，本技术实施例提供一种电子设备，包括：
51.显示屏；一个或多个处理器；存储器；多个应用程序；以及一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令，当指令
被设备执行时，使得设备执行以下步骤：
52.获得用户相对电子设备的方位；电子设备设置有n个麦克风；n为大于等于3的整数；
53.在电子设备的预设固定波束中，选择距离方位最近的固定波束作为主波束，按照距离方位从远到近的顺序选择至少一个固定波束作为副波束；
54.当n个麦克风接收到声音信号时，使用主波束的波束形成系数计算声音信号的主输出信号，并且，使用副波束的波束形成系数计算声音信号的副输出信号；
55.使用副输出信号对主输出信号进行滤波处理，得到目标声音信号。。
56.在一种可能的实现方式中，指令被设备执行时，使得获得用户相对电子设备的方位的步骤包括：
57.获取电子设备的摄像头捕捉到的图像；
58.如果从图像中识别出电子设备的用户的人脸信息，根据人脸信息在图像中的位置信息，获得用户相对电子设备的方位；
59.如果从图像中未识别出用户的人脸信息，获取电子设备的摆放位置；根据摆放位置，获得用户相对电子设备的方位。
60.在一种可能的实现方式中，指令被设备执行时，使得在电子设备的预设固定波束中，选择距离方位最近的固定波束作为主波束，按照距离方位从远到近的顺序选择至少一个固定波束作为副波束的步骤包括：
61.计算方位针对每个固定波束的比值k；k
k
＝夹角δ
k
/波束宽度其中，k
k
是方位针对固定波束k的比值，夹角δ
k
是方位与固定波束k的方向之间的夹角，波束宽度是固定波束k的波束宽度；k＝1,2,
…
,m；m是固定波束的组数；
62.选择最小的比值对应的固定波束作为主波束，按照比值从大到小的顺序从最大的比值开始选择至少一个比值对应的固定波束作为副波束。
63.在一种可能的实现方式中，指令被设备执行时，使得获得用户相对电子设备的方位的步骤之前还执行以下步骤：
64.获得m组固定波束的波束形成系数、方向、以及波束宽度，m为大于等于2的整数。
65.在一种可能的实现方式中，指令被设备执行时，使得获得预设组数的固定波束的波束形成系数、方向、以及波束宽度的步骤包括：
66.为电子设备建立三维笛卡尔坐标系；
67.获得n个麦克风在坐标系中的坐标；
68.根据n个麦克风的坐标计算目标声源在理想条件下的导向矢量；
69.获得电子设备壳体对麦克风的频域响应矩阵；
70.根据理想条件下的导向矢量以及频域响应矩阵计算目标声源的真实导向矢量；
71.根据真实导向矢量计算预设组数的固定波束的波束形成系数、方向、以及波束宽度。
72.第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面的方法。
73.第五方面，本技术实施例提供一种计算机程序，当计算机程序被计算机执行时，用于执行第一方面的方法。
74.在一种可能的设计中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
75.图1为本技术实施例电子设备上麦克风设置示例图；
76.图2为本技术拾音方法一个实施例的流程图；
77.图3a为本技术拾音方法另一个实施例的流程图；
78.图3b为本技术电子设备的三维笛卡尔坐标系示例图；
79.图3c为本技术实施例方位角和俯仰角示例图；
80.图3d为本技术实施例电子设备摆放位置示例图；
81.图4为本技术一个步骤的实现方法一个实施例的流程图；
82.图5a和图5b为本技术拾音方法所适用的电子设备的一种结构图；
83.图6a为本技术拾音装置一个实施例的结构示意图；
84.图6b为本技术拾音装置一个单元的一个实施例的结构示意图；
85.图6c为本技术拾音装置另一个单元的一个实施例的结构示意图；
86.图7a为本技术拾音装置又一个实施例的结构示意图；
87.图7b为本技术拾音装置另一个单元一个实施例的结构示意图；
88.图8为本技术电子设备一个实施例的结构示意图。
具体实施方式
89.本技术的实施方式部分使用的术语仅用于对本技术的具体实施例进行解释，而非旨在限定本技术。
90.现有的实现方案中，单通道降噪算法在低信噪比条件下语音失真严重，双通道降噪算法对人声干扰基本很难消除，为此，本技术提出一种拾音方法，能够缓解低信噪比条件下语音失真的情况，也能够减少人声干扰。
91.本技术实施例中电子设备上设置有至少3个麦克风，各个麦克风在电子设备上的设置位置本技术实施例不作限定。可选地，为了达到更好的拾音效果，所述至少3个麦克风在电子设备上分散设置，例如设置在电子设备的不同部位，每个麦克风设置的位置包括但不限于：电子设备的上部、下部、顶部、底部、屏幕所在的上表面、和/或背部等。在一种可能的实现方式中，参见图1所示，3个麦克风可以分别设置于：电子设备的顶部，电子设备的底部，电子设备的背部。
92.本技术实施例可以适用于电子设备的语音助手应用的场景下，为语音唤醒和语音识别提供较为干净的语音信号，也可以适用于其他场景下，例如为某个人进行录音、录像等需要较为干净的语音信号的场景下。
93.图2为本技术拾音方法一个实施例的流程图，如图2所示，上述方法可以包括：
94.步骤201：获得用户相对电子设备的方位；所述电子设备设置有n个麦克风，n≥3。
95.步骤202：在所述电子设备的预设固定波束中，选择距离所述方位最近的固定波束作为主波束，按照距离所述方位从远到近的顺序选择至少一个固定波束作为副波束。
96.步骤203：当所述n个麦克风接收到声音信号时，使用所述主波束的波束形成系数
计算所述声音信号的主输出信号，并且，使用所述副波束的波束形成系数计算所述声音信号的副输出信号。
97.步骤204：使用所述副输出信号对所述主输出信号进行滤波处理，得到目标声音信号。
98.这里，得到的目标声音信号是滤除了噪声的干净语音信号。
99.图2所示的方法中，获得用户相对电子设备的方位，通过该方位从电子设备的预设固定波束中选择主波束和副波束，从而能够更准确地从声音信号中获得目标声源的声音信号，有效地减少目标声音信号中的人声干扰；使用至少3个麦克风接收声音信号，由于电子设备壳体的影响，可以更好的区分噪声，增强滤波处理的效果，缓解低信噪比条件下的语音失真问题。尤其当所述至少3个麦克风分散设置在电子设备的不同部位，例如3个麦克风分别设置于电子设备的顶部、底部以及背部时，由于电子设备壳体的影响，可以更好的区分前后噪声，增强滤波处理的效果，缓解低信噪比条件下的语音失真问题以及人声干扰消除不彻底问题。
100.图3a为本技术拾音方法另一个实施例的流程图，如图3a所示，该方法可以包括：
101.步骤301：获得预设组数的固定波束的波束形成系数、方向、以及波束宽度。
102.其中，所述预设组数大于等于2，也即预设组数的最小值为2，最大值不限制。
103.其中，本步骤一般为预设步骤，也即获得预设组数的固定波束的波束形成系数、方向、以及波束宽度后，可以将获得的上述信息存储于电子设备中，无需每次执行步骤302～步骤309之前均执行该步骤。实际应用中，也可以对存储于电子设备中的上述信息进行修改。
104.本步骤的实现请参考图4所示的说明，这里不赘述。
105.为了便于以下步骤中的描述，对图4所示实施例中基于电子设备建立的三维笛卡尔坐标系进行说明，参见图3b所示，三维笛卡尔坐标系以电子设备上表面的中心点作为坐标原点，电子设备上表面的对称轴分别为x轴和y轴，经过电子设备上表面的中心点的垂线作为z轴。电子设备的上表面一般是电子设备具有显示屏侧的表面。
106.以下的步骤302～步骤304为所述获得用户相对电子设备的方位的步骤的一种可能实现方法。
107.步骤302：获取所述电子设备的摄像头捕捉到的图像，判断从所述图像中是否能够识别出所述电子设备的用户的人脸信息，如果否，执行步骤303；如果是，执行步骤304。
108.在实际应用中，电子设备中可以保存电子设备的用户的人脸信息，在一种可能的实现方式中，该人脸信息可以由电子设备的用户在电子设备中自主设置。
109.其中，本步骤中使用电子设备的所有摄像头还是部分摄像头捕捉图像，本技术实施例不作限定。例如，可以使用前置摄像头捕捉图像，或者，也可以使用前置摄像头和后置摄像头捕捉图像。
110.在一种可能的实现方式中，本步骤可以使用人像识别检测技术识别用户的人脸信息，具体的，人像识别检测技术是用电子设备的摄像头采集含有人脸的图像或视频流，并自动在采集的图像或视频流中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，使用这一技术就可以识别出用户的人脸信息在图像或者视频流中的位置信息。
111.步骤303：获取电子设备的摆放位置，根据所述摆放位置估计所述用户相对电子设
备的方位；执行步骤305。
112.在一种可能的实现方式中，用户相对电子设备的方位可以通过(方位角，俯仰角)来表示，其中，用户相对电子设备的方位在图3b所示三维笛卡尔坐标系中可以用坐标系原点指向用户的人脸中心点的射线来表示，所述方位角是：坐标系原点指向用户的人脸中心点的射线在xoy平面上投影的射线与x轴正方向的夹角；所述俯仰角是：坐标系原点指向用户的人脸中心点的射线与z轴正方向的夹角。参见图3c的具体举例，假设a点为用户的人脸中心点，则oa为坐标系原点指向用户的人脸中心点的射线，也即用户相对电子设备的方位，其方位角为射线oa在xoy平面上投影的射线ob与x轴正方向的夹角，如图3c所示，为∠xob；其俯仰角为射线oa与z轴正方向的夹角，如图3c所示，为∠zoa，通过这两个角度来表示用户相对电子设备的方位。需要说明的是，用户相对电子设备的方位用方位角和俯仰角来标识仅为举例，并不用以限定本技术实施例用户相对电子设备的方位的其他表示方式或实现方式。
113.在一种可能的实现方式中，可以使用电子设备中的重力传感器(g-sensor)获取电子设备的摆放位置。具体的，重力传感器可以获取电子设备不同方向的重力加速度，电子设备的摆放位置不同，重力传感器在不同方向获取的重力加速度的数值也会不同。以为电子设备建立图3b中的三维笛卡尔坐标系为例，参见图3d所示电子设备的可能摆放位置示例图，将电子设备的显示屏朝上平躺放在桌面上，x轴与y轴重力加速度为0，z轴重力加速度的值大于9.8，桌面在图3d中未示出；将电子设备的显示屏朝下平躺放在桌面上时，x轴与y轴重力加速度为0，z轴重力加速度的值小于-9.8；将电子设备正向竖立放置(完全竖直)，x轴与z轴的重力加速度为0，y轴重力加速度的值大于9.8；将电子设备倒立放置(完全竖直)，x轴与z轴的重力加速度为0，y轴重力加速度的值小于-9.8；将电子设备向左横立放置(完全横立)，y轴与z轴的重力加速度为0，x轴重力加速度的值大于9.8；将电子设备向右横立放置(完全横立)，y轴与z轴的重力加速度为0，x轴重力加速度的值小于-9.8。因此，根据重力传感器在各个方向上获取的重力加速度的数值，可以得到电子设备的摆放位置。
114.具体的，可以预先设置电子设备的不同摆放位置对应的x轴重力加速度的阈值范围，y轴重力加速度的阈值范围，z轴重力加速度的阈值范围，相应的，本步骤中可以根据重力加速度输出的x轴重力加速度、y轴重力加速度、以及z轴重力加速度，确定其所处阈值范围，从而获得电子设备的摆放位置。举例来说，参考前述电子设备摆放位置对应的重力加速度举例，假设x轴、y轴、z轴的重力加速度分别为g1、g2、g3，当|g1|<
△1，|g2|<
△1，|g
3-9.8|<
△1或者|g3 9.8|<
△1时，电子设备处于水平放置状态；当|g1|<
△1，|g3|<
△1，g2>
△2时，电子设备处于手持状态；当|g2|<
△1，|g3|<
△1，g1>
△2时，电子设备处于向左倾斜状态；当|g2|<
△1，|g3|<
△1，g1<
-△2时，电子设备处于向右倾斜状态，其中
△1和
△2为预设的阈值，
△1可以为接近于0的正数，
△2可以为大于
△1的正数。其中，
△1和
△2的具体取值可以在实际应用中自主设置，本技术不限制。
115.在实际应用中，可以预设不同摆放位置与用户相对电子设备的方位之间的对应关系；则，所述根据所述摆放位置估计所述用户相对电子设备的方位，可以包括：
116.从预设的所述对应关系中获取所述电子设备的摆放位置对应的用户相对电子设备的方位。
117.对该实现方式说明如下：如果电子设备从摄像头拍摄的图像中没有识别出电子设
备的用户的人脸信息，表明用户的人脸方位超过了摄像头拍摄角度范围，这时可以根据所述摆放位置以及所述摄像头的拍摄角度范围来估计用户相对电子设备最可能的方位，具体的，
118.可以先从用户相对电子设备的所有方位中剔除掉所述摄像头的拍摄角度范围对应的方位；
119.之后，可以根据用户使用习惯大数据统计分析，从剩余的方位中推算出电子设备在不同摆放位置下用户相对电子设备最大概率的方位，从而可以得到：不同摆放位置、用户相对电子设备的方位两者之间的对应关系。
120.例如，参考前述的摆放位置举例，基于使用习惯和阅读方便，电子设备处于手持状态或者水平放置状态时，用户大概率正对电子设备，位于电子设备的y轴负方向位置，剔除掉摄像头的拍摄角度范围对应的方位，可以设置电子设备处于手持状态或者水平放置状态时，对应的用户相对电子设备的方位可以为：(270
°
，90
°
)；电子设备处于向左倾斜状态或者向右倾斜状态时，用户大多是在观看视频或者玩游戏，用户位于电子设备的xoz平面内，剔除掉摄像头的拍摄角度范围对应的方位，可以设置电子设备处于向左倾斜状态或者向右倾斜状态时，对应的用户相对电子设备的方位可以为：(0
°
，45
°
)或者(180
°
，45
°
)。
121.以上仅为可能实现方式的示例性说明，并不用以限定本技术实施例。例如：上述方位角和俯仰角的具体取值可以不同；不同电子设备的摄像头拍摄角度范围不同，不同电子设备处于同一摆放位置，设置的该摆放位置对应的用户相对电子设备的方位也可能不同。
122.相比于以下步骤304中根据人脸在图像中的位置估计用户相对电子设备的方位，通过电子设备的摆放位置来间接估计用户相对电子设备的方位，准确度要低一点，但是考虑到超过摄像头角度的场景不多，另外后续步骤中固定波束的宽度也可以容许一定的角度误差，因此，本步骤中根据电子设备的摆放位置估计出用户相对电子设备的方位，仍然可以满足本技术实施例的要求，对本技术实施例后续的处理结果影响较小。
123.举例来说，可以根据用户使用习惯大数据以及电子设备的摆放位置，得到不同摆放位置对应的用户相对电子设备最大概率的方位。以电子设备是手机为例，假设电子设备的摆放位置为手持，剔除前置摄像头和后置摄像头的拍摄角度方位对应的方位，用户相对电子设备最大概率的方位可以为：位于手机的底部方位，即图3b中y轴负方向。
124.步骤304：获取所述用户的人脸信息在所述图像中的位置信息，根据所述位置信息，获得所述用户相对电子设备的方位；执行步骤305。
125.本步骤中可以使用投影等相关技术，将用户在图像中的位置信息直接转化为在图3b所示三维笛卡尔坐标系中的方位角和俯仰角，得到用户相对电子设备的方位。
126.通过获得用户相对电子设备的方位，可以获得更加准确的目标人说话信息，为后续信号处理带来更多先验信息。
127.以下的步骤305～步骤306是步骤202的一种可能的实现方式。
128.步骤305：计算所述方位针对每个固定波束的比值k。
129.k＝夹角δ
k
/波束宽度其中，夹角δ
k
是所述方位与固定波束k的方向之间的夹角，波束宽度是固定波束k的波束宽度。k＝1，2，
…
，m。
130.在一种可能的实现方式中，本步骤可以包括：针对固定波束k，计算所述方位与固定波束k的方向之间的夹角δ
k
，再计算夹角δ
k
与该固定波束k的波束宽度之间的比值。
131.步骤306：从所述比值中选择最小的比值对应的固定波束作为主波束，按照所述比值从大到小的顺序从最大的所述比值开始选择至少一个所述比值对应的固定波束作为副波束。
132.在实际应用中，副波束的数量可以为1个或者多个，具体数量本技术并不限制，但是，副波束和主波束的总数量不超过固定波束的数量m。也即是说：假设m为2，则副波束的数量只能为1，假设m为5，则副波束的数量可以为2、3、或4。在一种可能的实现方式中，副波束的数量可以为2。
133.主波束的波束形成系数记为w
(1)
(f)，副波束的波束形成系数记为w
(q)
(f)，q＝2，...，s 1；s为副波束的数量。
134.步骤307：获得n个麦克风接收到的n路声音信号，对n路声音信号进行回声消除，得到声音信号：x(f，l)＝[x1(f，l)，x2(f，l)，...，x
n
(f，l)]
t
；l为帧号。
[0135]
其中，所述回声消除步骤为可选步骤，本步骤中如何对n路声音信号进行回声消除，本技术并不限制。
[0136]
在实际应用中，可以使用相关的回声消除算法进行n路声音信号的回声消除，回声消除算法又包括时域处理算法和频域处理算法，这里不赘述。自适应的回声消除算法的基本原理是：利用参考信号自适应地估计出回声信号，将麦克风接收到的声音信号减去估计的回声信号，获得无回声的声音信号。
[0137]
步骤307与步骤305～步骤306之间没有执行顺序的限制。
[0138]
步骤308：根据声音信号x(f，l)以及主波束的波束形成系数w
(1)
(f)计算主输出信号y1(f，l)＝w
(1)
(f)x(f，l)；根据声音信号x(f，l)以及副波束的波束形成系数w
(q)
(f)计算副输出信号y
q
(f，1)＝w
(q)
(f)x(f，l)。
[0139]
步骤309：使用副输出信号y
q
(f，l)对主输出信号y1(f，l)进行滤波处理，得到目标声音信号。
[0140]
在一种可能的实现方式中，假设副波束为2个，则副输出信号为2个，假设目标声音信号为z(f，l)，那么其中，y2＝[y2(f，1)，...，y2(f，l-p 1)]
t
，y3＝[y3(f，l)，...，y3(f，l-p 1)]
t
，b2和b3为p
×
1维滤波器系数矩阵，p是滤波器系数矩阵的维数，具体数值可以在实际应用中自主选择设置，本技术不限制。
[0141]
在实际应用中可以使用相关的滤波算法如维纳滤波、最小均方差准则滤波、卡尔曼滤波等进行本步骤中的滤波处理，这里不再赘述。
[0142]
本技术实施例中，在常规2个麦克风的基础上增加了至少一个麦克风，可选地，增加的麦克风可以为背部麦克风，这些麦克风组成了一个立体的麦克风阵列，由于电子设备壳体的影响，该麦克风阵列可以很好地基于3d空间进行定向波束形成，做到区分前后噪声的效果。
[0143]
以下，通过图4所示的步骤流程对步骤301的实现进行举例说明。参见图4所示，包括：
[0144]
步骤401：建立基于电子设备的三维笛卡尔坐标系。
[0145]
三维笛卡尔坐标系的建立方法请参见图3b以及对应描述，这里不赘述，在图3b中以麦克风的数量n取值3为例，以这3个麦克风分别位于电子设备的顶部、底部以及背部为例。
[0146]
步骤402：根据n个麦克风在电子设备上的位置，分别获得n个麦克风在三维笛卡尔坐标系中的坐标。
[0147]
假设每个麦克风mici的坐标为(x
i
，y
i
，z
i
)，i＝1，2，...，n。
[0148]
参见图3b所示，第一个麦克风mic1的坐标为(x1，y1，z1)；第二个麦克风mic2的坐标为(x2，y2，z2)；第三个麦克风mic3的坐标为(x3，y3，z3)。
[0149]
步骤403：根据n个麦克风在三维笛卡尔坐标系中的坐标，计算目标声源在理想条件下的导向矢量。
[0150]
具体的，假设目标声源的方向为(θ，φ)，θ是目标声源的方位角，φ是目标声源的俯仰角，则目标声源在理想条件下的导向矢量俯仰角，则目标声源在理想条件下的导向矢量其中，τ
i
是麦克风i相对于坐标原点的时延，计算公式参见以下公式(1)。
[0151][0152]
其中，c是声速，f是频率。
[0153]
步骤404：获得电子设备壳体对麦克风的频域响应矩阵γ(θ，φ，f)。
[0154]
在实际应用中，一般通过让电子设备的麦克风接收不同方向的同一音频来计算麦克风对不同方位信号的响应，得到电子设备如手机的壳体对麦克风的频域响应矩阵。具体步骤是：将电子设备放置在专业的全消室中，以电子设备为球心，依次在1m半径的球面不同位置上播放同一音频，该音频一般是高斯白噪声，然后通过电子设备麦克风接收来自球面不同位置上的音频信号，基于如果没有电子设备壳体的影响，麦克风接收到的音频信号应该是一致的原理，通过对比计算获得电子设备壳体对各个麦克风的响应情况，得到频域响应矩阵γ(θ，φ，f)。
[0155]
步骤405：根据频域响应矩阵γ(θ，φ，f)、以及目标声源在理想条件下的导向矢量a(θ，φ，f)，计算目标声源的真实导向矢量
[0156]
目标声源的真实导向矢量目标声源的真实导向矢量
[0157]
步骤406：根据目标声源的真实导向矢量计算预设组数的固定波束的波束形成系数w
k
(f)、方向以及波束宽度k＝1，2，...，m，m为固定波束的预设组数。
[0158]
在一种可能的实现方式中，如果m＜4，每个固定波束的方向指向一水平方向，将360
°
空间平均划分为m份；如果m≥4，一个固定波束的方向指向z轴正方向，其他m-1个固定波束的方向指向一水平方向，将360
°
空间平均划分为m-1份，类似一个莲花状。例如，m＝5时，5组固定波束的方向可以分别指向x轴正方向、x轴负方向、y轴正方向、y轴负方向和z轴正方向。
[0159]
在一种可能的实现方式中，m可以为5，则得到五组固定波束的波束形成系数w
k
(f)，k＝1，2，3，4，5；五组波束的方向可以分别指向x轴正方向、x轴负方向、y轴正方向、y轴负方向和z轴正方向；五组固定波束的波束宽度分别为
[0160]
在实际应用中，可以使用固定波束形成算法来计算五组固定波束形成系数。
[0161]
简单的固定波束形成算法为延时相加算法，其波束形成系数是
θ
k
表示固定波束k的方位角，φk表示固定波束k的俯仰角。以上述5组固定波束的方向分别指向x轴正方向、x轴负方向、y轴正方向、y轴负方向和z轴正方向为例，五组固定波束的方位角和俯仰角(θ
k
，φ
k
)分别为：(0
°
，90
°
)、(180
°
，90
°
)、(90
°
，90
°
)、(270
°
，90
°
)以及(0
°
，0
°
)。
[0162]
其中，固定波束的方向也可以用(方位角，俯仰角)来表示。固定波束的方位角是：在三维笛卡尔坐标系中，固定波束的方向在xoy平面上投影的射线与x轴正方向的夹角；固定波束的俯仰角是：在三维笛卡尔坐标系中，固定波束的方向与z轴正方向的夹角；具体可以参考前述关于图3c的举例，不再赘述。
[0163]
复杂的固定波束形成算法包括超定向波、恒定束宽波束形成等，以上复杂的固定波束形成算法最后归结为一个二次规划问题，需要借助凸优化技术来求解获得固定波束形成系数w
k
(f)。
[0164]
波束宽度的设定与波束的数量、电子设备上的麦克风布局、选用的固定波束形成算法、以及需要每个固定波束拾取的声源范围有关，可以在实际应用中自主设置，这里不限定。
[0165]
图4所示的方法实现了m组固定波束的获得。
[0166]
在一种可能的实现方式中，可以将本技术实施例图3a所示的拾音方法应用于电子设备的语音助手场景下，例如，驾驶场景是用户使用手机语音助手频率相对较高的场景，该场景下噪声环境相对恶劣，包括有发动机的声音、轮胎摩擦声、空调声、开窗时的风噪等，这将直接导致手机接收到的用户语音信噪比变低，对语音助手拾取干净的用户语音提出了较大的挑战。具体的，参见图5a所示，电子设备可以包括：传感器模块、场景分析模块、前端增强模块、语音唤醒模块、声纹辨识确认模块、语音识别模块以及其他交互模块。其中，传感器模块可以包括：摄像头、麦克风以及重力传感器，通过这些传感器可以分别获得用户的图像、声音信号、电子设备的摆放方位等数据；场景分析模块用于获取关于声音信号的先验信息，进行有针对性的声音拾取；前端增强模块用于提取用户(机主)的声音信号，也即是目标声音信号，同时抑制其他干扰信号和噪声；语音唤醒模块用于检测目标声音信号中的特定唤醒词，这些特定唤醒词可以“叫醒”电子设备，而电子设备最终会不会被唤醒还需要声纹辨识确认模块来“把关”，顾名思义，声纹辨识确认模块用于对用户声纹的辨识和确认，只有当前说唤醒词的用户声纹和预设的用户声纹一致，电子设备才最终被用户唤醒。
[0167]
由于电子设备的资源开销限制，语音唤醒模块只支持一路唤醒，这就要求前端增强模块只能输出一路音频信号至语音唤醒模块进行唤醒检测，在存在多个说话人时，需准确辨识出目标说话人方位等信息，然后利用回声消除、固定波束形成、多通道自适应滤波等降噪算法进行定向拾音增强，估计出干净的目标声音信号送入语音唤醒模块，进行声纹检测和语音唤醒识别等后续处理。
[0168]
基于图5a所示的电子设备的结构，结合图3a所示的实施例，对图3a所示实施例在图5a所示电子设备中的处理过程进行举例说明。参见图5b所示，用户与传感器模块之间的交互包括：摄像头捕捉包含人脸的图像，重力传感器可以获得电子设备在各个方向的重力加速度值，麦克风获取用户的声音信号。传感器模块中摄像头捕捉的图像、以及重力传感器获得的重力加速度值传输至场景分析模块，场景分析模块据此获得用户相对电子设备的方位，将该方位传输至前端增强模块。传感器模块将麦克风获取的声音信号也传输至前端增
强模块，前端增强模块根据所述方位以及声音信号提取出目标声音信号。该目标声音信号是比较干净的一路语音信号，该目标声音信号将传输至语音唤醒模块和声纹辨识确认模块，由语音唤醒模块检测特定唤醒词，声纹辨识确认模块将目标声音信号的声纹与预设的用户声纹进行比对，确认声纹是否一致；如果声纹辨识确认模块确认声纹一致，语音识别模块根据语音唤醒模块提取的特定唤醒词与其他交互模块进行交互。
[0169]
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本技术实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
[0170]
图6a为本技术拾音装置一个实施例的结构图，如图6a所示，拾音装置600可以包括：
[0171]
方位获得单元610，用于获得用户相对电子设备的方位；所述电子设备设置有n个麦克风；n为大于等于3的整数；
[0172]
波束选择单元620，用于在所述电子设备的预设固定波束中，选择距离所述方位获得单元610获得的所述方位最近的固定波束作为主波束，按照距离所述方位从远到近的顺序选择至少一个固定波束作为副波束；
[0173]
信号计算单元630，用于当所述n个麦克风接收到声音信号时，使用所述波束选择单元620选择的所述主波束的波束形成系数计算所述声音信号的主输出信号，并且，使用所述波束选择单元620选择的所述副波束的波束形成系数计算所述声音信号的副输出信号；
[0174]
滤波单元640，用于使用所述信号计算单元630计算的所述副输出信号对所述主输出信号进行滤波处理，得到目标声音信号。
[0175]
其中，参见图6b所示，所述方位获得单元610可以包括：
[0176]
图像获取子单元611，用于获取所述电子设备的摄像头捕捉到的图像；
[0177]
方位获得子单元612，用于如果从所述图像子单元611获取到的所述图像中识别出所述电子设备的用户的人脸信息，根据所述人脸信息在所述图像中的位置信息，获得所述用户相对电子设备的方位；如果从所述图像子单元获取到的所述图像中未识别出所述用户的人脸信息，获取所述电子设备的摆放位置；根据所述摆放位置，获得所述用户相对所述电子设备的方位。
[0178]
其中，参见图6c所示，所述波束选择单元620可以包括：
[0179]
比值计算子单元621，用于计算所述方位针对每个固定波束的比值k；k
k
＝夹角δ
k
/波束宽度其中，k
k
是所述方位针对固定波束k的比值，夹角δ
k
是所述方位与固定波束k的方向之间的夹角，波束宽度是固定波束k的波束宽度；k＝1，2，...，m；m是固定波束的组数；
[0180]
波束选择子单元622，用于在所述比值计算子单元计算的比值中，选择最小的所述比值对应的固定波束作为主波束，按照所述比值从大到小的顺序从最大的所述比值开始选择至少一个所述比值对应的固定波束作为副波束。
[0181]
参见图7a，在图6a所示装置的基础上，该装置600还可以包括：
[0182]
波束获得单元650，用于获得m组固定波束的波束形成系数、方向、以及波束宽度，m为大于等于2的整数。
[0183]
参见图7b，所述波束获得单元650可以包括：
[0184]
坐标系建立子单元651，用于为电子设备建立三维笛卡尔坐标系；
[0185]
坐标获得子单元652，用于获得所述n个麦克风在所述坐标系中的坐标；
[0186]
理想导向矢量计算子单元653，用于根据所述n个麦克风的坐标计算目标声源在理想条件下的导向矢量；
[0187]
矩阵获得子单元654，用于获得电子设备壳体对所述麦克风的频域响应矩阵；
[0188]
真实导向矢量计算子单元655，用于根据所述理想条件下的导向矢量以及所述频域响应矩阵计算所述目标声源的真实导向矢量；
[0189]
固定波束计算子单元656，用于根据所述真实导向矢量计算所述预设组数的固定波束的波束形成系数、方向、以及波束宽度。
[0190]
图6a～图7b所示实施例提供的拾音装置600可用于执行本技术图2～图4所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
[0191]
应理解以上图6a～图7b所示的拾音装置的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元以软件通过处理元件调用的形式实现，部分单元通过硬件的形式实现。例如，方位获得单元可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它单元的实现与之类似。此外这些单元全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0192]
例如，以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit；以下简称：asic)，或，一个或多个微处理器(digital singnal processor；以下简称：dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array；以下简称：fpga)等。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip；以下简称：soc)的形式实现。
[0193]
图8为本技术电子设备一个实施例的结构示意图，如图8所示，上述电子设备可以包括：显示屏；一个或多个处理器；存储器；以及一个或多个计算机程序。
[0194]
其中，上述显示屏可以包括车载计算机(移动数据中心mobile data center)的显示屏；上述电子设备可以为移动终端(手机)，电脑，pad，可穿戴设备，智慧屏，无人机，智能网联车(intelligent connected vehicle；以下简称：icv)，智能(汽)车(smart/intelligentcar)或车载设备等设备。
[0195]
其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：
[0196]
获得用户相对电子设备的方位；所述电子设备设置有n个麦克风；n为大于等于3的整数；
[0197]
在所述电子设备的预设固定波束中，选择距离所述方位最近的固定波束作为主波束，按照距离所述方位从远到近的顺序选择至少一个固定波束作为副波束；
[0198]
当所述n个麦克风接收到声音信号时，使用所述主波束的波束形成系数计算所述声音信号的主输出信号，并且，使用所述副波束的波束形成系数计算所述声音信号的副输出信号；
[0199]
使用所述副输出信号对所述主输出信号进行滤波处理，得到目标声音信号。
[0200]
在一种可能的实现方式中，所述指令被所述设备执行时，使得所述获得用户相对电子设备的方位的步骤可以包括：
[0201]
获取所述电子设备的摄像头捕捉到的图像；
[0202]
如果从所述图像中识别出所述电子设备的用户的人脸信息，根据所述人脸信息在所述图像中的位置信息，获得所述用户相对电子设备的方位；
[0203]
如果从所述图像中未识别出所述用户的人脸信息，获取所述电子设备的摆放位置；根据所述摆放位置，获得所述用户相对所述电子设备的方位。
[0204]
在一种可能的实现方式中，所述指令被所述设备执行时，使得所述在所述电子设备的预设固定波束中，选择距离所述方位最近的固定波束作为主波束，按照距离所述方位从远到近的顺序选择至少一个固定波束作为副波束的步骤可以包括：
[0205]
计算所述方位针对每个固定波束的比值k；k
k
＝夹角δ
k
/波束宽度其中，k
k
是所述方位针对固定波束k的比值，夹角δ
k
是所述方位与固定波束k的方向之间的夹角，波束宽度是固定波束k的波束宽度；k＝1,2,
…
,m；m是固定波束的组数；
[0206]
选择最小的所述比值对应的固定波束作为主波束，按照所述比值从大到小的顺序从最大的所述比值开始选择至少一个所述比值对应的固定波束作为副波束。
[0207]
在一种可能的实现方式中，所述指令被所述设备执行时，使得所述获得用户相对电子设备的方位的步骤之前还执行以下步骤：
[0208]
获得m组固定波束的波束形成系数、方向、以及波束宽度，m为大于等于2的整数。
[0209]
在一种可能的实现方式中，所述指令被所述设备执行时，使得所述获得预设组数的固定波束的波束形成系数、方向、以及波束宽度的步骤可以包括：
[0210]
为电子设备建立三维笛卡尔坐标系；
[0211]
获得所述n个麦克风在所述坐标系中的坐标；
[0212]
根据所述n个麦克风的坐标计算目标声源在理想条件下的导向矢量；
[0213]
获得电子设备壳体对所述麦克风的频域响应矩阵；
[0214]
根据所述理想条件下的导向矢量以及所述频域响应矩阵计算所述目标声源的真实导向矢量；
[0215]
根据所述真实导向矢量计算所述预设组数的固定波束的波束形成系数、方向、以及波束宽度。
[0216]
图8所示的电子设备可以是终端设备也可以是内置于上述终端设备的电路设备。该设备可以用于执行本技术图2～图4所示实施例提供的方法中的功能/步骤。
[0217]
电子设备800可以包括处理器810，外部存储器接口820，内部存储器821，通用串行总线(universal serial bus，usb)接口830，充电管理模块840，电源管理模块841，电池842，天线1，天线2，移动通信模块850，无线通信模块860，音频模块870，扬声器870a，受话器870b，麦克风870c，耳机接口870d，传感器模块880，按键890，马达891，指示器892，摄像头893，显示屏894，以及用户标识模块(subscriber identification module，sim)卡接口895等。其中传感器模块880可以包括压力传感器880a，陀螺仪传感器880b，气压传感器880c，磁传感器880d，加速度传感器880e，距离传感器880f，接近光传感器880g，指纹传感器880h，温度传感器880j，触摸传感器880k，环境光传感器880l，骨传导传感器880m等。
[0218]
可以理解的是，本发明实施例示意的结构并不构成对电子设备800的具体限定。在本技术另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0219]
处理器810可以包括一个或多个处理单元，例如：处理器810可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0220]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0221]
处理器810中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器810中的存储器为高速缓冲存储器。该存储器可以保存处理器810刚用过或循环使用的指令或数据。如果处理器810需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器810的等待时间，因而提高了系统的效率。
[0222]
在一些实施例中，处理器810可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0223]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器810可以包含多组i2c总线。处理器810可以通过不同的i2c总线接口分别耦合触摸传感器880k，充电器，闪光灯，摄像头893等。例如：处理器810可以通过i2c接口耦合触摸传感器880k，使处理器810与触摸传感器880k通过i2c总线接口通信，实现电子设备800的触摸功能。
[0224]
i2s接口可以用于音频通信。在一些实施例中，处理器810可以包含多组i2s总线。处理器810可以通过i2s总线与音频模块870耦合，实现处理器810与音频模块870之间的通信。在一些实施例中，音频模块870可以通过i2s接口向无线通信模块860传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0225]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块870与无线通信模块860可以通过pcm总线接口耦合。在一些实施例中，音频模块870也可以通过pcm接口向无线通信模块860传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0226]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器810与无线通信模块860。例如：处理器810通过uart接口与无线通信模块860
中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块870可以通过uart接口向无线通信模块860传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0227]
mipi接口可以被用于连接处理器810与显示屏894，摄像头893等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器810和摄像头893通过csi接口通信，实现电子设备800的拍摄功能。处理器810和显示屏894通过dsi接口通信，实现电子设备800的显示功能。
[0228]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器810与摄像头893，显示屏894，无线通信模块860，音频模块870，传感器模块880等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0229]
usb接口830是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口830可以用于连接充电器为电子设备800充电，也可以用于电子设备800与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
[0230]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备800的结构限定。在本技术另一些实施例中，电子设备800也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0231]
充电管理模块840用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块840可以通过usb接口830接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块840可以通过电子设备800的无线充电线圈接收无线充电输入。充电管理模块840为电池842充电的同时，还可以通过电源管理模块841为电子设备供电。
[0232]
电源管理模块841用于连接电池842，充电管理模块840与处理器810。电源管理模块841接收电池842和/或充电管理模块840的输入，为处理器810，内部存储器821，显示屏894，摄像头893，和无线通信模块860等供电。电源管理模块841还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块841也可以设置于处理器810中。在另一些实施例中，电源管理模块841和充电管理模块840也可以设置于同一个器件中。
[0233]
电子设备800的无线通信功能可以通过天线1，天线2，移动通信模块850，无线通信模块860，调制解调处理器以及基带处理器等实现。
[0234]
天线1和天线2用于发射和接收电磁波信号。电子设备800中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0235]
移动通信模块850可以提供应用在电子设备800上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块850可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块850可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块850还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移
动通信模块850的至少部分功能模块可以被设置于处理器810中。在一些实施例中，移动通信模块850的至少部分功能模块可以与处理器810的至少部分模块被设置在同一个器件中。
[0236]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器870a，受话器870b等)输出声音信号，或通过显示屏894显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器810，与移动通信模块850或其他功能模块设置在同一个器件中。
[0237]
无线通信模块860可以提供应用在电子设备800上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块860可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块860经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器810。无线通信模块860还可以从处理器810接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0238]
在一些实施例中，电子设备800的天线1和移动通信模块850耦合，天线2和无线通信模块860耦合，使得电子设备800可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0239]
电子设备800通过gpu，显示屏894，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏894和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器810可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0240]
显示屏894用于显示图像，视频等。显示屏894包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备800可以包括1个或n个显示屏894，n为大于1的正整数。
[0241]
电子设备800可以通过isp，摄像头893，视频编解码器，gpu，显示屏894以及应用处
理器等实现拍摄功能。
[0242]
isp用于处理摄像头893反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头893中。
[0243]
摄像头893用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备800可以包括1个或n个摄像头893，n为大于1的正整数。
[0244]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备800在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0245]
视频编解码器用于对数字视频压缩或解压缩。电子设备800可以支持一种或多种视频编解码器。这样，电子设备800可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0246]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备800的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0247]
外部存储器接口820可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备800的存储能力。外部存储卡通过外部存储器接口820与处理器810通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0248]
内部存储器821可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器821可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备800使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器821可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器810通过运行存储在内部存储器821的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备800的各种功能应用以及数据处理。
[0249]
电子设备800可以通过音频模块870，扬声器870a，受话器870b，麦克风870c，耳机接口870d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0250]
音频模块870用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块870还可以用于对音频信号编码和解码。在一些实施例中，音频模块870可以设置于处理器810中，或将音频模块870的部分功能模块设置于处理器810中。
[0251]
扬声器870a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备800可以
通过扬声器870a收听音乐，或收听免提通话。
[0252]
受话器870b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备800接听电话或语音信息时，可以通过将受话器870b靠近人耳接听语音。
[0253]
麦克风870c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风870c发声，将声音信号输入到麦克风870c。电子设备800可以设置至少一个麦克风870c。在另一些实施例中，电子设备800可以设置两个麦克风870c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备800还可以设置三个，四个或更多麦克风870c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0254]
耳机接口870d用于连接有线耳机。耳机接口870d可以是usb接口830，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0255]
压力传感器880a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器880a可以设置于显示屏894。压力传感器880a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器880a，电极之间的电容改变。电子设备800根据电容的变化确定压力的强度。当有触摸操作作用于显示屏894，电子设备800根据压力传感器880a检测所述触摸操作强度。电子设备800也可以根据压力传感器880a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0256]
陀螺仪传感器880b可以用于确定电子设备800的运动姿态。在一些实施例中，可以通过陀螺仪传感器880b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器880b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器880b检测电子设备800抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备800的抖动，实现防抖。陀螺仪传感器880b还可以用于导航，体感游戏场景。
[0257]
气压传感器880c用于测量气压。在一些实施例中，电子设备800通过气压传感器880c测得的气压值计算海拔高度，辅助定位和导航。
[0258]
磁传感器880d包括霍尔传感器。电子设备800可以利用磁传感器880d检测翻盖皮套的开合。在一些实施例中，当电子设备800是翻盖机时，电子设备800可以根据磁传感器880d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0259]
加速度传感器880e可检测电子设备800在各个方向上(一般为三轴)加速度的大小。当电子设备800静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
[0260]
距离传感器880f，用于测量距离。电子设备800可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备800可以利用距离传感器880f测距以实现快速对焦。
[0261]
接近光传感器880g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备800通过发光二极管向外发射红外光。电子设备800使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备800附近有物体。当检测到不充分的反射光时，电子设备800可以确定电子设备800附近没有物体。电子设备800可以利用接近光传感器880g检测用户手持电子设备800贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器880g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0262]
环境光传感器880l用于感知环境光亮度。电子设备800可以根据感知的环境光亮度自适应调节显示屏894亮度。环境光传感器880l也可用于拍照时自动调节白平衡。环境光传感器880l还可以与接近光传感器880g配合，检测电子设备800是否在口袋里，以防误触。
[0263]
指纹传感器880h用于采集指纹。电子设备800可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0264]
温度传感器880j用于检测温度。在一些实施例中，电子设备800利用温度传感器880j检测的温度，执行温度处理策略。例如，当温度传感器880j上报的温度超过阈值，电子设备800执行降低位于温度传感器880j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备800对电池842加热，以避免低温导致电子设备800异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备800对电池842的输出电压执行升压，以避免低温导致的异常关机。
[0265]
触摸传感器880k，也称“触控器件”。触摸传感器880k可以设置于显示屏894，由触摸传感器880k与显示屏894组成触摸屏，也称“触控屏”。触摸传感器880k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏894提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器880k也可以设置于电子设备800的表面，与显示屏894所处的位置不同。
[0266]
骨传导传感器880m可以获取振动信号。在一些实施例中，骨传导传感器880m可以获取人体声部振动骨块的振动信号。骨传导传感器880m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器880m也可以设置于耳机中，结合成骨传导耳机。音频模块870可以基于所述骨传导传感器880m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器880m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0267]
按键890包括开机键，音量键等。按键890可以是机械按键。也可以是触摸式按键。电子设备800可以接收按键输入，产生与电子设备800的用户设置以及功能控制有关的键信号输入。
[0268]
马达891可以产生振动提示。马达891可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏894不同区域的触摸操作，马达891也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0269]
指示器892可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0270]
sim卡接口895用于连接sim卡。sim卡可以通过插入sim卡接口895，或从sim卡接口895拔出，实现和电子设备800的接触和分离。电子设备800可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口895可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口895可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口895也可以兼容不同类型的sim卡。sim卡接口895也可以兼容外部存储卡。电子设备800通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备800采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备800中，不能和电子设备800分离。
[0271]
应理解，图8所示的电子设备800能够实现本技术图2～图4所示实施例提供的方法的各个过程。电子设备800中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本技术图2～图4所示方法实施例中的描述，为避免重复，此处适当省略详细描述。
[0272]
应理解，图8所示的电子设备800中的处理器810可以是片上系统soc，该处理器810中可以包括中央处理器(central processing unit，cpu)，还可以进一步包括其他类型的处理器，例如：图像处理器(graphics processing unit，gpu)等。
[0273]
总之，处理器810内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在内部存储器121中。
[0274]
本技术还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本技术图2～图4所示实施例提供的方法。
[0275]
以上各实施例中，涉及的处理器可以例如包括cpu、dsp、微控制器或数字信号处理器，还可包括gpu、嵌入式神经网络处理器(neural-network process units；以下简称：npu)和图像信号处理器(image signal processing；以下简称：isp)，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如asic，或一个或多个用于控制本技术技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。
[0276]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本技术图2～图4所示实施例提供的方法。
[0277]
本技术实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本技术图2～图4所示实施例提供的方法。
[0278]
本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
[0279]
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件
方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0280]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0281]
在本技术所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory；以下简称：rom)、随机存取存储器(random access memory；以下简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0282]
以上所述，仅为本技术的具体实施方式，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以所述权利要求的保护范围为准。