回声消除方法、装置、电子设备和存储介质与流程

1.本公开涉及回声消除技术领域，具体涉及一种回声消除方法、装置、电子设备和存储介质。


背景技术：

2.手机等终端设备进行语音通信和人机语音交互时，当扬声器播放语音和用户对麦克风输入语音同时进行时，便会形成全双工现象，即扬声器播放的语音会随用户语音输入至麦克风中，从而形成回声。相关技术中使用自适应滤波器来消除上述回声，但是自适应滤波器对回声中的非线性回声消除效果较差，因此无法达到消除回声的目的。


技术实现要素：

3.为克服相关技术中存在的问题，本公开实施例提供一种回声消除方法、装置、电子设备和存储介质，用以解决相关技术中的缺陷。
4.根据本公开实施例的第一方面，提供一种回声消除方法，应用于终端设备，包括：
5.获取回声信号和麦克风的输入信号组成的第一信号向量；其中，所述输入信号包括近端信号和回声信号，所述回声信号包括线性回声信号和非线性回声信号，所述非线性回声信号包括多项回声子信号，所述回声子信号根据回声参考信号和非线性变换函数确定；
6.根据当前帧的所述第一信号向量和前一帧的分离向量确定第一残差信号的向量，其中，所述第一残差信号包括近端信号和残留回声信号；
7.根据所述第一残差信号的向量、所述第一信号向量和平滑参数，确定当前帧的分离向量；
8.根据所述第一信号向量、所述当前帧的分离向量确定第二残差信号的向量，并根据所述第二残差信号的向量确定当前帧的近端信号。
9.在一个实施例中，所述获取回声信号和麦克风的输入信号组成的第一信号向量，包括：
10.分别将所述输入信号的向量、所述线性回声信号的向量和所述非线性回声信号的向量由时域形式转换为频域形式；
11.将频域形式的所述输入信号的向量、频域形式的所述线性回声信号的向量和频域形式的所述非线性回声信号的向量按照预设方向排列，形成所述第一信号向量。
12.在一个实施例中，所述线性回声信号的向量为所述参考回声信号。
13.在一个实施例中，所述非线性变换函数包括多项式函数；或，
14.所述非线性变换函数包括多项式函数和非线性函数，其中，所述非线性函数为下述至少一种函数：正弦函数、音频压缩函数、误差函数、双曲正切函数、反正切函数、s型激活函数。
15.在一个实施例中，所述根据所述第一残差信号的向量、所述第一信号向量和平滑
参数，确定当前帧的分离向量，包括：
16.根据每个频率点的所述第一残差信号的向量确定评价函数；
17.根据所述评价函数确定对比度函数；
18.根据所述第一信号向量确定第一协方差矩阵；
19.根据前一帧的辅助变量、所述第一协方差矩阵、所述对比度函数和所述平滑函数，确定当前帧的辅助变量；
20.根据所述当前帧的辅助变量确定所述当前帧的分离变量。
21.在一个实施例中，所述根据所述第二残差信号的向量确定当前帧的近端信号，包括：
22.将所述第二残差信号的向量由频率形式转换为时域形式，形成时域形式的所述近端信号。
23.在一个实施例中，所述由时域形式转换为频域形式为傅里叶变换；和/或，
24.所述由频率形式转换为时域形式为逆傅里叶变换。
25.根据本公开实施例的第二方面，提供一种回声消除装置，应用于终端设备，包括：
26.获取模块，用于获取回声信号和麦克风的输入信号组成的第一信号向量；其中，所述输入信号包括近端信号和回声信号，所述回声信号包括线性回声信号和非线性回声信号，所述非线性回声信号包括多项回声子信号，所述回声子信号根据回声参考信号和非线性变换函数确定；
27.残差模块，用于根据当前帧的所述第一信号向量和前一帧的分离向量确定第一残差信号的向量，其中，所述第一残差信号包括近端信号和残留回声信号；
28.更新模块，用于根据所述第一残差信号的向量、所述第一信号向量和平滑参数，确定当前帧的分离向量；
29.消除模块，用于根据所述第一信号向量、所述当前帧的分离向量确定第二残差信号的向量，并根据所述第二残差信号的向量确定当前帧的近端信号。
30.在一个实施例中，所述获取模块具体用于：
31.分别将所述输入信号的向量、所述线性回声信号的向量和所述非线性回声信号的向量由时域形式转换为频域形式；
32.将频域形式的所述输入信号的向量、频域形式的所述线性回声信号的向量和频域形式的所述非线性回声信号的向量按照预设方向排列，形成所述第一信号向量。
33.在一个实施例中，所述线性回声信号的向量为所述参考回声信号。
34.在一个实施例中，所述非线性回声信号包括多项回声子信号；所述回声子信号根据所述参考回声信号和非线性变换函数确定。
35.在一个实施例中，所述非线性变换函数包括多项式函数；或，
36.所述非线性变换函数包括多项式函数和非线性函数，其中，所述非线性函数为下述至少一种函数：正弦函数、音频压缩函数、误差函数、双曲正切函数、反正切函数、s型激活函数。
37.在一个实施例中，所述更新模块具体用于：
38.根据每个频率点的所述第一残差信号的向量确定评价函数；
39.根据所述评价函数确定对比度函数；
40.根据所述第一信号向量确定第一协方差矩阵；
41.根据前一帧的辅助变量、所述第一协方差矩阵、所述对比度函数和所述平滑函数，确定当前帧的辅助变量；
42.根据所述当前帧的辅助变量确定所述当前帧的分离变量。
43.在一个实施例中，所述消除模块具体用于：
44.将所述第二残差信号的向量由频率形式转换为时域形式，形成时域形式的所述近端信号。
45.在一个实施例中，所述由时域形式转换为频域形式为傅里叶变换；和/或，
46.所述由频率形式转换为时域形式为逆傅里叶变换。
47.根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面所述的回声消除方法。
48.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。
49.本公开的实施例提供的技术方案可以包括以下有益效果：
50.本公开通过获取回声信号和麦克风的输入信号组成的第一信号向量，并根据当前帧的所述第一信号向量和前一帧的分离向量确定第一残差信号的向量，以及根据第一残差信号的向量、第一信号向量和平滑参数，确定当前帧的分离向量，最后根据第一信号向量和当前帧的分离向量确定第二残差信号的向量，并根据所述第二残差信号的向量确定当前帧的近端信号。由于前一帧的分离向量用于当前帧的分离向量的更新，而且回声信号和麦克风的输入信号组成第一信号向量，作为一个整体用于分离向量的更新以及近端信号的确定，因此使用统一的框架联合处理线性回声和非线性回声消除问题，解决了相关技术在回声和近端信号同时存在的双讲期间，无法去除非线性回声的问题，提高了回声消除效果。
附图说明
51.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
52.图1是本公开一示例性实施例示出的回声消除方法的流程图；
53.图2是本公开一示例性实施例示出的分析窗的示意图；
54.图3是本公开一示例性实施例示出的回声消除过程的示意图；
55.图4是本公开一示例性实施例示出的回声消除装置的结构示意图；
56.图5是本公开一示例性实施例示出的电子设备框图。
具体实施方式
57.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
58.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。
在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
59.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在......时”或“当......时”或“响应于确定”。
60.对于全双工语音通信和人机语音交互领域，在上行和下行语音同时存在的双讲(double talk，dt)场景，由于存在本地语音和噪声成分的干扰，传统基于线性自适应滤波技术的方法无法准确控制滤波器的迭代更新。缓解这个问题的方法一般都是在双讲期间减小滤波器的自适应速率或者停止更新自适应滤波器。而这些方法并不能从根本上解决上述问题，并且在回声路径发生改变时，由于滤波器更新速率变慢或者停止更新，结果导致因无法准确估计线性回声和非线性回声成分而产生较多残留回声。
61.非线性回声消除方法中，基于volterra滤波器或power滤波器技术的一大类方法，由于要适应大量的滤波器参数，需要占用大量的存储空间，而且具有很高的计算复杂度，另外较长的滤波器阶数导致滤波器收敛速度很慢，这些缺陷使得它很少在实际应用中使用。另一大类基于自适应滤波技术的非线性回声消除方法，类似于自适应滤波线性回声消除，因为双讲期间近端信号被误当作非线性成分，从而严重干扰了非线性自适应滤波器的更新方向和收敛状态。
62.基于此，第一方面，本公开至少一个实施例提供了一种回声消除方法，请参照附图1，其示出了该方法的流程，包括步骤s101和步骤s104。
63.其中，该回声消除方法应用于终端设备，其中，终端设备可以是手机、平板电脑等具有通信功能和/或人机交互功能的终端设备。终端设备在通信过程中，麦克风的输入信号中包括近端信号，即用户输入的语音信号，同时还存在线性回声信号和非线性回声信号，该回声消除方法的目的就是从麦克风的输入信号中消除线性回声信号和非线性回声信号，从而得到相对纯净的近端信号。
64.其中，麦克风的输入信号由近端信号和回声信号组成：
65.d(n)＝s(n) v(n) y(n)
66.其中，近端用户语音信号s(n)和背景噪声v(n)组合成近端信号，y(n)是回声信号，包含线性回声信号y
l
(n)和非线性回声信号y
nl
(n)。回声信号可以根据回声参考信号x(n)确定。
67.线性回声信号可以使用回声参考信号和声学传递函数来表示：
[0068][0069]
其中，x(n)表示回声参考信号，x(n)是其向量形式，是扬声器到麦克风声学冲激响应(acoustic impulse response，air)的向量形式。
[0070]
扬声器及其功率放大器中存在主要的非线性成分，其表现为驱动扬声器的功率放
大器或扬声器本身的饱和曲线，因此可以使用无记忆的高阶非线性模型来对其进行建模。
[0071][0072]
其中，是第i个非线性成分的声学冲激响应(air)，f
i
(
·
)是第i个非线性成分的非线性变换函数，n是非线性成分个数。
[0073]
上述线性回声和非线性回声模型可以综合表示为：
[0074][0075]
其中，线性回声信号的向量为所述参考回声信号，即线性回声信号的非线性变换函数为：
[0076]
f0(x(n))＝x(n)
[0077]
非线性变换函数可以为多项式函数，非线性变化函数还可以为多项式函数和下述函数中的任意一种：正弦函数音频压缩函数误差函数双曲正切函数反正切函数s型激活函数
[0078]
例如，当非线性变化函数为多项式函数时，f
i
(x(n))＝x
i
(n)(i≥1)，其中i表示阶数，因为计算复杂度正比于多项式的阶数，优选0≤i≤7。
[0079]
在步骤s101中，获取回声信号和麦克风的输入信号组成的第一信号向量。
[0080]
本步骤中，可以分别将所述输入信号的向量、所述线性回声信号的向量和所述非线性回声信号的向量由时域形式转换为频域形式，并将频域形式的所述输入信号的向量、频域形式的所述线性回声信号的向量和频域形式的所述非线性回声信号的向量按照预设方向排列，形成所述第一信号向量。
[0081]
其中，根据上述回声模型可知，所述线性回声信号的向量为所述参考回声信号，而所述非线性回声信号包括多项回声子信号；所述回声子信号根据所述参考回声信号和非线性变换函数确定。
[0082]
其中，由时域形式转换为频域形式，可以采用下述傅里叶变换(short time fourier transform，stft)：
[0083]
xne＝fft(d.*win)
[0084]
xfe0＝fft(f0(x).*win)＝fft(x.*win)
[0085]
xfe1＝fft(f1(x).*win)＝fft(x1.*win)
[0086]
xfen＝fft(f
n
(x).*win)＝fft(x
n
.*win)
[0087]
其中，x是回声参考信号的向量形式，d是麦克风的输入信号的向量形式，win是如
图2所示的短时分析窗，fft(
·
)是傅里叶变换。
[0088]
win＝[0；sqrt(hanning(n
‑
1))]
[0089]
hanning(n)＝0.5*[1
‑
cos(2π*n/n)]
[0090]
其中n是分析帧长度，hanning(n)是长度为n
‑
1的汉宁窗。
[0091]
上述得到的各项可以组成第一信号向量：
[0092]
x(l，k)＝[xne(l，k)，xfe0(l，k)，xfe1(l，k)，
…
，xfen(l，k)]
[0093]
其中，其中l表示帧索引，k表示频率点。
[0094]
在步骤s102中，根据当前帧的所述第一信号向量和前一帧的分离向量确定第一残差信号的向量，其中，所述第一残差信号包括近端信号和残留回声信号。
[0095]
其中，针对每一帧的第一信号向量，均执行步骤s102至步骤s104，而每一帧的第一信号向量在步骤s103所确定的该帧的分离向量，均用于下一帧的步骤s102。另外，第一帧的第一信号向量无上一帧，因此针对第一帧执行步骤s102时，前一帧的分离向量采用预设的初始值。
[0096]
可以采用下述方式确定第一残差信号的向量：
[0097][0098]
其中，e1(l，k)为第一残差信号，x
i
(l，k)为xne(l，k)、xfe0(l，k)、xfe1(l，k)
…
xfen(l，k)中的一个，w
i
(l
‑
1，k)为前一帧的分离向量w(l
‑
1，k)中对应x
i
(l，k)的分量，n是包括麦克风输入信号、线性回声参考信号和所有非线性回声参考信号的所有信号个数。
[0099]
在步骤s103中，根据所述第一残差信号的向量、所述第一信号向量和平滑参数，确定当前帧的分离向量。
[0100]
本步骤中，可以先根据每个频率点的所述第一残差信号的向量确定评价函数r：其中，k是频率点数；再根据所述评价函数确定对比度函数其中，k是频率点数；再根据所述评价函数确定对比度函数再根据所述第一信号向量确定第一协方差矩阵：xf(l，k)＝x(l，k)*x
h
(l，k)，其中，(
·
)
h
表示厄米特共轭转置；再根据前一帧的辅助变量、所述第一协方差矩阵、所述对比度函数和所述平滑函数，确定当前帧的辅助变量v(l，k)：其中，α为预先设置的平滑参数；最后根据所述当前帧的辅助变量确定所述当前帧的分离变量：w(l，k)＝v(l，k)
‑1i，其中，i是单位向量，i＝[1，0，
…
，0]
t
。
[0101]
在步骤s104中，根据所述第一信号向量和所述当前帧的分离向量确定第二残差信号的向量，并根据所述第二残差信号的向量确定当前帧的近端信号。
[0102]
其中，确定第二残差信号可以采用和确定第一残差信号相同的方式，只是利用的分离向量为当前帧的分离向量，即采用下述方式确定第二残差信号的向量：
[0103][0104]
其中，x
i
(l，k)为xne(l，k)、xfe0(l，k)、xfe1(l，k)
…
xfen(l，k)中的一个，w
i
(l，k)
为当前帧的分离向量w(l，k)中对应x
i
(l，k)的分量。
[0105]
可以将所述第二残差信号的向量由频率形式转换为时域形式，形成时域形式的所述近端信号，例如，对第二残差信号的向量采用下述逆傅里叶变换，形成时域形式的近端信号：
[0106]
e＝ifft(e(l)).*win
[0107]
其中，e为时域形式的近端信号，即消除线性回声和非线性回声的时域增强信号，ifft(
·
)表示傅里叶逆变换。
[0108]
本公开通过获取回声信号和麦克风的输入信号组成的第一信号向量，并根据当前帧的所述第一信号向量和前一帧的分离向量确定第一残差信号的向量，以及根据第一残差信号的向量、第一信号向量和平滑参数，确定当前帧的分离向量，最后根据第一信号向量和当前帧的分离向量确定第二残差信号的向量，并根据所述第二残差信号的向量确定当前帧的近端信号。由于前一帧的分离向量用于当前帧的分离向量的更新，而且回声信号和麦克风的输入信号组成第一信号向量，作为一个整体用于分离向量的更新以及近端信号的确定，因此使用统一的框架联合处理线性回声和非线性回声消除问题，解决了相关技术在回声和近端信号同时存在的双讲期间，无法去除非线性回声的问题，提高了回声消除效果；另外，采用统一的框架对线性回声和非线性回声进行建模，联合去除线性回声和非线性回声成分，避免了相关技术中对线性回声和非线性回声分别建模的过程，使得回声消除问题变得简单高效。
[0109]
另外，非线性变换函数不仅限于多项式函数，其它常用的非线性函数也可以和多项式函数一起联合使用，逼近真实的使用场景中的非线性回声。通过自适应的方式最优地消除回声，以达到残留回声最小的目标。这种消除非线性回声的方式，避免了滤波器收敛速度慢的问题，计算复杂度相对而言较低。
[0110]
下面结合附图3对本技术提供的回声消除方法的完整过程进行介绍。首先，终端设备将接收到的参考信号x(n)输入至功率放大器，且功率放大器对参考信号的放大结果通过扬声器播放，麦克风同时输入扬声器播放的回声信号y(n)和近端用户语音信号s(n)、近端噪声信号v(n)组成的近端信号；参考信号x(n)在输入至功率放大器的同时，其中的线性回声信号直接通过傅里叶变换(stft)转换为频域信号，而其中的多项分线性回声信号分别通过非线性变换后再通过傅里叶变换(stft)转换为频域信号，然后再将各项回声信号的频率信号通过滤波得到滤波结果，即通过确定当前帧的分离向量以表征扬声器到麦克风的传递函数h；同时麦克风的多项输入信号分别通过傅里叶变换(stft)转换为频域信号，再将麦克风的输入信号的频率信号减去回声信号的滤波结果，则可以得到消除回声的近端信号，最后将近端信号通过逆傅里叶变换(stft)转换回时域信号，即得到消除线性回声和非线性回声的时域增强信号。
[0111]
本实施例中，将麦克风的输入信号(即待处理声音信号)、线性回声和非线性回声合并至一个向量中，再对该独立向量进行分离处理，从而完成回声信号与近端信号的分立，也就是使用基于独立向量分析(independent vectoranalysis，iva)技术的半盲源分离算法，将回声消除问题转变为多通道语音分离问题，iva技术彻底解决了ica技术在频率上排列模糊的问题。将参考回声信号及其非线性变换信号作为多个参考通道，将麦克风输入的混合信号作为目标通道，因此解决了iva盲源分离中目标通道选择的问题。另外，基于独立
向量分析技术的半盲源分离是一个双工模型，解决了基于自适应滤波技术的非线性声学回声消除器(acoustic echo canceller，aec)在双讲期间滤波器自适应的问题。
[0112]
根据本公开实施例的第二方面，提供一种回声消除装置，应用于终端设备，请参照附图4，包括：
[0113]
获取模块401，用于获取回声信号和麦克风的输入信号组成的第一信号向量；其中，所述输入信号包括近端信号和回声信号，所述回声信号包括线性回声信号和非线性回声信号，所述非线性回声信号包括多项回声子信号，所述回声子信号根据回声参考信号和非线性变换函数确定；
[0114]
残差模块402，用于根据当前帧的所述第一信号向量和前一帧的分离向量确定第一残差信号的向量，其中，所述第一残差信号包括近端信号和残留回声信号；
[0115]
更新模块403，用于根据所述第一残差信号的向量、所述第一信号向量和平滑参数，确定当前帧的分离向量；
[0116]
消除模块404，用于根据所述第一信号向量、所述当前帧的分离向量确定第二残差信号的向量，并根据所述第二残差信号的向量确定当前帧的近端信号。
[0117]
在本公开的一些实施例中，所述获取模块具体用于：
[0118]
分别将所述输入信号的向量、所述线性回声信号的向量和所述非线性回声信号的向量由时域形式转换为频域形式；
[0119]
将频域形式的所述输入信号的向量、频域形式的所述线性回声信号的向量和频域形式的所述非线性回声信号的向量按照预设方向排列，形成所述第一信号向量。
[0120]
在本公开的一些实施例中，所述线性回声信号的向量为所述参考回声信号。
[0121]
在本公开的一些实施例中，所述非线性变换函数包括多项式函数；或，
[0122]
所述非线性变换函数包括多项式函数和非线性函数，其中，所述非线性函数为下述至少一种函数：正弦函数、音频压缩函数、误差函数、双曲正切函数、反正切函数、s型激活函数。
[0123]
在本公开的一些实施例中，所述更新模块具体用于：
[0124]
根据每个频率点的所述第一残差信号的向量确定评价函数；
[0125]
根据所述评价函数确定对比度函数；
[0126]
根据所述第一信号向量确定第一协方差矩阵；
[0127]
根据前一帧的辅助变量、所述第一协方差矩阵、所述对比度函数和所述平滑函数，确定当前帧的辅助变量；
[0128]
根据所述当前帧的辅助变量确定所述当前帧的分离变量。
[0129]
在本公开的一些实施例中，所述消除模块具体用于：
[0130]
将所述第二残差信号的向量由频率形式转换为时域形式，形成时域形式的所述近端信号。
[0131]
在本公开的一些实施例中，所述由时域形式转换为频域形式为傅里叶变换；和/或，
[0132]
所述由频率形式转换为时域形式为逆傅里叶变换。
[0133]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0134]
根据本公开实施例的第五方面，请参照附图5，其示例性的示出了一种电子设备的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0135]
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(i/o)的接口512，传感器组件514，以及通信组件516。
[0136]
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。
[0137]
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0138]
电力组件506为装置500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
[0139]
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0140]
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(mic)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
[0141]
i/o接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0142]
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514还可以包括接近传感器，被配置用来在没有任何的物理接触时检
测附近物体的存在。传感器组件514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0143]
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如wifi，2g或3g，4g或5g或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0144]
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述电子设备的供电方法。
[0145]
第六方面，本公开在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述电子设备的供电方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0146]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0147]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。