FOA信号和双耳信号的获得方法和装置与流程

foa信号和双耳信号的获得方法和装置
技术领域
1.本技术涉及音频处理技术，尤其涉及一种foa信号和双耳信号的获得方法和装置。


背景技术：

2.随着高性能计算机和信号处理技术的飞速发展，虚拟现实(augmented reality，ar)或增强现实(virtual reality，vr)等技术受到越来越多的关注。一个具有沉浸感的ar或vr系统，不仅需要震撼的视觉效果，还需要逼真的听觉效果配合，视听的融合能大大提升用户的体验感。因此3d音频处理技术因其很好的沉浸感，成为ar或vr系统中的音频处理的核心技术。
3.3d声场经采集后通过耳机或扬声器等回放，其中采集方式可以包括双耳录音(binaural recording)、声场录音(sound field recording)等方式。但是双耳录音只能记录耳廓处的声压，无法记录声场，而声场录音不能很好的适应于人体(例如耳廓)的影响，从而影响了3d声场的还原效果。


技术实现要素：

4.本技术提供一种foa信号和双耳信号的获得方法和装置，使得获得的foa信号包含了耳廓对声场影响，更接近于真实环境下人耳听音时耳廓位置的真实声场，还在声音渲染过程中实现模拟多通道环绕声效果。
5.第一方面，本技术提供一种foa信号和双耳信号的获得方法，包括：位于第一耳廓内的第一声场采集装置采集以获得第一一阶双音学foa信号，所述第一耳廓为用户的左耳廓或右耳廓。第一声场采集装置将第一耳廓内的foa信号传输给处理装置。处理装置获得多个hrtf系数，该多个hrtf系数和预先设定的多个虚拟扬声器的方位对应，且该多个hrtf系数均是以第一耳廓为中心获得的。处理装置根据第一耳廓内的foa信号和多个hrtf系数获得对应于第一耳廓的声场信号。双耳信号包括对应于所述左耳廓的声场信号和对应于所述右耳廓的声场信号。
6.本技术中foa信号可以是指用户的左耳廓内的foa信号，也可以是指用户的右耳廓内的foa信号，可以采用相同的方法分别获得上述两种foa信号。以下以获得左耳廓的foa信号为例进行描述，右耳廓的foa信号的获得方法与此相同，不再赘述。
7.本技术中双耳信号包括对应于左耳廓的声场信号和对应于右耳廓的声场信号，也可以采用相同的方法分别获得对应于左耳廓的声场信号和对应于右耳廓的声场信号。以下以获得对应于左耳廓的声场信号为例进行描述，对应于右耳廓的声场信号的获得方法与此相同，不再赘述。应当理解，双耳信号是基于左右耳的，因此为获得双耳信号需要同步获得对应于左耳廓的声场信号和对应于右耳廓的声场信号。
8.本技术可以采用以下两种方法获得左耳廓内的foa信号：
9.(1)当位于左耳廓内的左耳声场采集装置为foa声场采集装置时，左耳声场采集设备直接采集以获得左耳廓内的foa信号。
10.如图2a所示，左耳声场采集装置与左耳耳机通过连接件连接，当用户带上左耳耳机时，左耳声场采集装置随着左耳耳机一起处于用户的左耳廓内，因此左耳声场采集装置可以直接对周围的声音信号进行采集，获得左耳廓内的foa信号。如此一来左耳声场采集装置采集到的foa信号就包含了左耳廓对声场影响，更接近于真实环境下人的左耳听音时左耳廓位置的真实声场。图5a为本技术左耳廓内的foa信号的一个示例性的示意图，如图5a所示，左耳廓内的foa信号包括四个分量wl、xl、yl和zl，其中，wl表示左耳廓内的foa信号的环境分量，xl表示左耳廓内的foa信号的x轴方向分量，yl表示左耳廓内的foa信号的y轴方向分量，zl表示左耳廓内的foa信号的z轴方向分量。
11.在一种可能的实现方式中，由于用户在佩戴左耳耳机时，基于左耳耳机的佩戴方式，左耳声场采集装置获得的左耳廓内的foa信号的xl、yl和zl三个分量的方向并不一定每次都能如图5a所示的标准佩戴时的方向，很可能在水平方向和/或俯仰方向上发生角度偏转。图5b为本技术左耳廓内的foa信号的一个示例性的示意图，如图5b所示，左耳声场采集装置在水平方向上，从标准佩戴时的方向(对应于xl和yl)发生水平角度偏转(对应于xl’和yl’)，其偏转角度为θ。图5c为本技术左耳廓内的foa信号的一个示例性的示意图，如图5c所示，左耳声场采集装置在俯仰方向上，从标准佩戴时的方向(对应于xl和zl)发生俯仰角度偏转(对应于xl’和zl’)，其偏转角度为因此如果直接使用角度偏转时的左耳声场采集装置获得的foa信号，可能会导致收录的声场与实际的声场不一致的情况。
12.左耳声场采集装置可以通过重力传感器(重力传感器可以设置于左耳声场采集装置或者左耳耳机上)获得左耳声场采集装置的偏转角度，该偏转角度包括水平偏转角度和/或俯仰偏转角度。当左耳声场采集装置的偏转角度满足第一设定条件时，左耳声场采集装置根据偏转角度对左耳声场采集装置获得的信号进行偏转校正，以获得左耳廓内的foa信号。或者，当左耳声场采集装置的偏转角度不满足第一设定条件时，左耳声场采集装置将获得的信号作为左耳廓内的foa信号。
13.可选的，本技术可以仅根据左耳声场采集装置的偏转角度对左耳声场采集装置获得的信号进行偏转校正，此时第一设定条件可以是左耳声场采集装置的偏转角度大于0，第二设定条件可以是左耳声场采集装置的偏转角度等于0。若确定要进行偏转校正，则左耳声场采集装置将xl’yl’zl’方向下的foa信号转换成xlylzl方向下的foa信号，例如，根据水平偏转角度和/或俯仰偏转角度计算偏转校正矩阵，然后根据偏转校正矩阵和xl’yl’zl’方向下的foa信号计算以获得xlylzl方向下的foa信号(即为左耳廓内的foa信号)。
14.可选的，本技术也可以根据左耳声场采集装置的偏转角度和右耳声场采集装置的偏转角度分别对左耳声场采集装置获得的信号和右耳声场采集装置获得的信号进行偏转校正，此时第一设定条件可以是左耳声场采集装置的水平偏转角度和右耳声场采集装置的水平偏转角度不相等，和/或，左耳声场采集装置的俯仰偏转角度和右耳声场采集装置的俯仰偏转角度不相等，第二设定条件可以是左耳声场采集装置的水平偏转角度和右耳声场采集装置的水平偏转角度相等，且，左耳声场采集装置的俯仰偏转角度和右耳声场采集装置的俯仰偏转角度相等。若确定要进行偏转校正，则左耳声场采集装置将xl’yl’zl’方向下的foa信号转换成xlylzl方向下的foa信号，右耳声场采集装置将xl’yl’zl’方向下的foa信号转换成xlylzl方向下的foa信号。
15.(2)当位于左耳廓内的左耳声场采集装置包括具有特定拓扑结构的多个麦克风
时，左耳声场采集装置中的多个麦克风获得多路信号，获得多路信号与foa信号之间的第一转换矩阵，根据多路信号和第一转换矩阵获得左耳廓内的foa信号。
16.如图2b所示，左耳声场采集装置设置于左耳耳机上，当用户带上左耳耳机时，左耳声场采集装置随着左耳耳机一起处于用户的左耳廓内。此时该多个麦克风的收声一侧朝向左耳耳机的朝向外界的外壳上，而在该外壳上开孔以使得多个麦克风可以采集外界声音信号，因此通过多个麦克风可以采集到该多个麦克风各自朝向上的信号(多路信号)。图6为本技术第i个麦克风的一个示例性的示意图，如图6所示，左耳声场采集装置包括m(通常m≥4)个麦克风，1≤i≤m，左耳声场采集装置中的第i个麦克风的极坐标表示为其中，l表示左，dli表示左耳声场采集装置中的第i个麦克风与中心位置(即左耳廓对应的极坐标系的原点ol)的距离，θli表示左耳声场采集装置中的第i个麦克风的方位角，表示左耳声场采集装置中的第i个麦克风的俯仰角。因此，左耳声场采集装置中的第i个麦克风采集的信号sli和左耳廓内的foa信号(wl表示左耳廓内的foa信号的环境分量，xl表示左耳廓内的foa信号的x轴方向分量，yl表示左耳廓内的foa信号的y轴方向分量，zl表示左耳廓内的foa信号的z轴方向分量)有以下关系：
[0017][0018]
进而可以得到左耳廓内的foa信号向多个麦克风采集的多路信号转换的第二转换矩阵fml为：
[0019][0020]
计算上述第二转换矩阵的逆矩阵，即为多个麦克风采集的多路信号向左耳廓内的foa信号转换的第一转换矩阵mfl：mfl＝fml-1
[0021]
最后根据上述第二转换矩阵mfl和多路信号sli(i＝1～m)获得左耳廓内的foa信号(包括wl、xl、yl和zl四个分量)为：
[0022][0023]
以上通过位于用户的左耳廓内或右耳廓内的声场采集设备获得左耳廓内的foa信号或右耳廓内的foa信号，一方面可以记录双耳耳廓位置的声场，另一方面可以记录耳廓的影响，以便于获得更好的声场还原效果。
[0024]
处理装置可以通过与声场采集装置之间的总线接收左耳廓内的foa信号，也可以通过与声场采集装置之间的有线链路或无线链路接收左耳廓内的foa信号。本技术对此不做具体限定。
[0025]
本实施例中的多个hrtf系数均是以左耳廓为中心获得的，即上述麦克风的位置被模拟设置于左耳廓的位置。由于预先设定了多个虚拟扬声器的方位，因此不需要获得所有
可能存在声源的地方，只需要获得与多个虚拟扬声器的方位对应的hrtf系数即可。虚拟扬声器是为了在声音渲染过程中能够模拟多通道环绕声效果而虚拟的扬声器，如果将虚拟扬声器信号通过与虚拟扬声器配置相同的扬声器系统播放出来即可获得多通道环绕声效果。
[0026]
在一种可能的实现方式中，处理装置可以根据预先设定的多个虚拟扬声器的方位从第一hrtf系数集合获得多个hrtf系数，该第一hrtf系数集合中的hrtf系数均是以左耳廓为中心获得的。
[0027]
如上所述，可以预先测量获得空间内的所有方位到左耳廓的hrtf系数，就能得到一组包含所有方位对应的hrtf系数的集合。需要说明的是，前述所有方位仅作为一种示例，但并不构成限定，即预先测量的方位的范围可以是指所有方位，也可使是指某朝向上的所有方位，还可以是指全朝向上的部分方位，本技术对此不做具体限定。
[0028]
多个虚拟扬声器信号的方位已经预先设定，因此结合一组包含所有方位对应的hrtf系数的集合，从中找到与多个虚拟扬声器信号的方位分别对应的hrtf系数。
[0029]
在一种可能的实现方式中，处理装置可以先根据预先设定的多个虚拟扬声器的方位从第二hrtf系数集合获得多个中间hrtf系数，该第二hrtf系数集合中的hrtf系数均是以用户的头部中心为中心获得的，然后对多个中间hrtf系数分别进行旋转处理以获得多个hrtf系数。
[0030]
与上述实现方式的区别在于，在获得一组包含所有方位对应的hrtf系数的集合时，是获得空间内的所有方位到用户的头部中心的hrtf系数，即是以用户的头部中心为中心获得hrtf系数。同样的，前述所有方位仅作为一种示例，但并不构成限定，即预先测量的方位的范围可以是指所有方位，也可使是指某朝向上的所有方位，还可以是指全朝向上的部分方位，本技术对此不做具体限定。
[0031]
多个虚拟扬声器信号的方位已经预先设定，因此结合一组包含所有方位对应的hrtf系数的集合，从中找到与多个虚拟扬声器信号的方位分别对应的以用户的头部中心为中心的hrtf系数。
[0032]
图7为本技术hrtf系数的一个示例性的示意图，如图7所示，获得以用户的头部中心为中心的hrtf系数后，对该hrtf系数进行顺时针( γ)旋转处理得到左耳廓的hrtf系数，对该hrtf系数进行逆时针(-γ)旋转处理得到右耳廓的hrtf系数。
[0033]
处理装置可以根据左耳廓内的foa信号获得多个虚拟扬声器信号，然后根据多个虚拟扬声器信号和多个hrtf系数获得对应于左耳廓的声场信号。
[0034]
可选的，可以根据以下公式获得对应于左耳廓的第j个虚拟扬声器信号：
[0035][0036]
其中，plj表示对应于左耳廓的第j个虚拟扬声器信号，l表示左，1≤j≤l，l表示多个虚拟扬声器信号的总个数，wl表示左耳廓内的foa信号的环境分量，xl表示左耳廓内的foa信号的x轴方向分量，yl表示左耳廓内的foa信号的y轴方向分量，zl表示左耳廓内的foa信号的z轴方向分量，表示对应于左耳廓的第j个虚拟扬声器信号的俯仰角，θlj表示对应于左耳廓的第j个虚拟扬声器信号的方位角。
[0037]
可选的，可以根据以下公式获得对应于左耳廓的声场信号：
[0038][0039]
其中，yl表示对应于第一耳廓的声场信号，l表示左，l表示多个虚拟扬声器信号的总个数，plj表示对应于左耳廓的第j个虚拟扬声器信号，hrtflj表示与第j个虚拟扬声器信号对应、且以左耳廓为中心获得的hrtf系数。
[0040]
本实施例，采集获得左耳廓内的foa信号和右耳廓内的foa信号，如此一来该两种foa信号就包含了耳廓对声场影响，更接近于真实环境下人耳听音时耳廓位置的真实声场。另外，为了在声音渲染过程中能够模拟多通道环绕声效果而虚拟了多个虚拟扬声器，获得该多个虚拟扬声器信号和该多个虚拟扬声器信号对应的多个hrtf信号，该hrtf信号是以左耳廓或右耳廓为中心获得的，进而根据多个虚拟扬声器信号和多个hrtf系数将采集获得的双耳廓内的foa信号转换为双耳廓的声场信号，如果将虚拟扬声器信号通过与虚拟扬声器配置相同的扬声器系统播放出来即可获得多通道环绕声效果。
[0041]
第二方面，本技术提供一种声场采集装置，包括：采集模块，用于通过位于第一耳廓内的第一声场采集装置采集以获得第一一阶双音学foa信号，所述第一耳廓为用户的左耳廓或右耳廓。
[0042]
在一种可能的实现方式中，所述第一声场采集装置与第一耳机连接；或者，所述第一声场采集装置设置于所述第一耳机中。
[0043]
在一种可能的实现方式中，所述采集模块，还用于通过重力传感器获得所述第一声场采集装置的偏转角度，所述偏转角度包括水平偏转角度和/或俯仰偏转角度；当所述第一声场采集装置的偏转角度满足第一设定条件时，根据所述偏转角度对所述第一声场采集装置获得的信号进行偏转校正，以获得所述第一foa信号；或者，当所述第一声场采集装置的偏转角度不满足所述第一设定条件时，将所述第一声场采集装置获得的信号作为所述第一foa信号；其中，所述第一设定条件为所述第一声场采集装置的偏转角度大于0；或者，当所述第一声场采集装置包括位于左耳廓内的第一声场采集装置和位于右耳廓内的第一声场采集装置时，所述第一设定条件为所述位于左耳廓内的第一声场采集装置的偏转角度和所述位于右耳廓内的第一声场采集装置的偏转角度不相等。
[0044]
在一种可能的实现方式中，所述重力传感器设置于所述第一声场采集装置中；或者，所述重力传感器设置于第一耳机中。
[0045]
在一种可能的实现方式中，所述采集模块，具体用于根据所述第一声场采集装置的偏转角度获得所述第一声场采集装置的偏转校正矩阵；根据所述第一声场采集装置获得的信号和所述偏转校正矩阵获得所述第一foa信号。
[0046]
在一种可能的实现方式中，当所述第一声场采集装置为foa声场采集装置时，所述采集模块，具体用于所述foa声场采集装置直接采集以获得所述第一foa信号。
[0047]
在一种可能的实现方式中，当所述第一声场采集装置包括具有特定拓扑结构的多个麦克风时，所述采集模块，具体用于通过所述多个麦克风获得多路信号；获得所述多路信号与foa信号之间的第一转换矩阵；根据所述多路信号和所述第一转换矩阵获得所述第一foa信号。
[0048]
在一种可能的实现方式中，所述采集模块，具体用于获得所述多个麦克风各自的极坐标；根据所述多个麦克风各自的极坐标获得foa信号和所述多路信号之间的第二转换
矩阵；将所述第二矩阵的逆矩阵确定为所述第一转换矩阵。
[0049]
第三方面，本技术提供一种处理装置，包括：获得模块，用于获得第一一阶双音学foa信号，所述第一foa信号是位于第一耳廓内的第一声场采集装置采集获得的，第一耳廓为用户的左耳廓或右耳廓；获得多个头部相关传输函数hrtf系数，所述多个hrtf系数和预先设定的多个虚拟扬声器的方位对应，且所述多个hrtf系数均是以所述第一耳廓为中心获得的；处理模块，用于根据所述第一foa信号和所述多个hrtf系数获得对应于所述第一耳廓的声场信号；其中，所述双耳信号包括对应于所述左耳廓的声场信号和对应于所述右耳廓的声场信号。
[0050]
在一种可能的实现方式中，所述获得模块，具体用于根据预先设定的多个虚拟扬声器的方位从第一hrtf系数集合获得所述多个hrtf系数，所述第一hrtf系数集合中的hrtf系数均是以所述第一耳廓为中心获得的。
[0051]
在一种可能的实现方式中，所述获得模块，具体用于根据预先设定的多个虚拟扬声器的方位从第二hrtf系数集合获得多个中间hrtf系数，所述第二hrtf系数集合中的hrtf系数均是以用户的头部中心为中心获得的；对所述多个中间hrtf系数分别进行旋转处理以获得所述多个hrtf系数。
[0052]
在一种可能的实现方式中，所述处理模块，具体用于根据所述第一foa信号获得所述多个虚拟扬声器信号；根据所述多个虚拟扬声器信号和所述多个hrtf系数获得对应于所述第一耳廓的声场信号。
[0053]
在一种可能的实现方式中，所述处理模块，具体用于根据以下公式获得第j个虚拟扬声器信号：
[0054][0055]
其中，pij表示所述第j个虚拟扬声器信号，i用于表示所述第一耳廓，l表示所述多个虚拟扬声器信号的总个数，wi表示所述第一foa信号的环境分量，xi表示所述第一foa信号的x轴方向分量，yi表示所述第一foa信号的y轴方向分量，zi表示所述第一foa信号的z轴方向分量，表示第j个虚拟扬声器信号的俯仰角，θij表示第j个虚拟扬声器信号的方位角。
[0056]
在一种可能的实现方式中，所述处理模块，具体用于根据以下公式获得对应于所述第一耳廓的声场信号：
[0057][0058]
其中，yi表示所述对应于所述第一耳廓的声场信号，i用于表示所述第一耳廓，l表示所述多个虚拟扬声器信号的总个数，pij表示第j个虚拟扬声器信号，hrtfij表示与所述第j个虚拟扬声器信号对应、且以所述第一耳廓为中心获得的hrtf系数。
[0059]
第四方面，本技术提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
[0060]
第五方面，本技术提供一种计算机可读存储介质，其特征在于，包括计算机程序，
所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一方面中任一项所述的方法。
[0061]
第六方面，本技术提供一种计算机程序，其特征在于，当所述计算机程序被计算机执行时，用于执行上述第一方面中任一项所述的方法。
附图说明
[0062]
图1为本技术双耳信号的获得系统的一个示例性的结构图；
[0063]
图2a为本技术声场采集装置的一种示例性的结构图；
[0064]
图2b为本技术声场采集装置的一种示例性的结构图；
[0065]
图3为本技术电子设备的一个示意性的结构图；
[0066]
图4为本技术双耳信号的获得方法的一个示例性的流程图；
[0067]
图5a为本技术左耳廓内的foa信号的一个示例性的示意图；
[0068]
图5b为本技术左耳廓内的foa信号的一个示例性的示意图；
[0069]
图5c为本技术左耳廓内的foa信号的一个示例性的示意图；
[0070]
图6为本技术第i个麦克风的一个示例性的示意图；
[0071]
图7为本技术hrtf系数的一个示例性的示意图；
[0072]
图8为本技术声场采集装置的一个示例性的结构示意图；
[0073]
图9为本技术处理装置的一个示例性的结构示意图。
具体实施方式
[0074]
为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0075]
本技术的说明书实施例和权利要求书及附图中的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0076]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0077]
图1为本技术双耳信号的获得系统的一个示例性的结构图，如图1所示，该系统包括声场采集装置和处理装置，其中，声场采集装置与入耳式耳机相关联。需要说明的是，本技术对耳机并不仅限定于是入耳式耳机，还可以是半入耳式耳机，只要用户佩戴上耳机后
该耳机处于用户的耳廓内均可用于实现本技术的方案。为便于描述，下文统一称作入耳式耳机；处理装置可以是电子设备，例如手机、平板电脑或计算机等终端设备，又例如智能眼镜、入耳式耳机等可穿戴设备，处理装置也可以是处理芯片，该处理芯片可以设置于前述电子设备中。需要说明的是，本技术对处理装置的具体实现形式不做具体限定。
[0078]
如果声场采集装置和处理装置设置于同一设备中，例如声场采集装置和处理装置均是入耳式耳机中的部件，则二者之间可以通过设备内部的总线进行指令或数据传输；如果声场采集装置和处理装置设置于不同设备中，例如声场采集装置与入耳式耳机连接，处理装置设置于手机中，则二者之间可以创建有线链路或无线链路以进行指令或数据传输。
[0079]
在一种可能的实现方式中，声场采集装置可以是一阶双音学(firs-order ambisonics，foa)声场采集装置，foa声场采集装置可以直接对周围的声音信号进行采集，以获得foa信号。例如，foa声场采集装置由朝向正面左上(front left up，flu)、正面右下(front right down，frd)、背面左下(back left down，bld)以及背面右上(back right up，bru)的4路麦克风构成，通过该4路麦克风采集获得foa信号；或者，foa声场采集装置由朝向正面左下(front left down，fld)、正面右上(front right up，fru)、背面左上(back left up，blu)以及背面右下(back right down，brd)的4路麦克风构成，通过该4路麦克风采集获得foa信号。图2a为本技术声场采集装置的一种示例性的结构图，如图2a所示，入耳式耳机包括左耳耳机和右耳耳机，相应的，声场采集装置也包括左耳声场采集装置和右耳声场采集装置。左耳声场采集装置通过连接件与左耳耳机连接，右耳声场采集装置通过连接件与右耳耳机连接。基于入耳式耳机的特性，用户在佩戴上上述入耳式耳机时，左耳声场采集装置可以位于左耳廓内，右耳声场采集装置可以位于右耳廓内。
[0080]
在一种可能的实现方式中，声场采集装置可以具有特定拓扑结构的多个麦克风，多个麦克风可以分别采集多路信号，进而根据该多路信号获得foa信号。图2b为本技术声场采集装置的一种示例性的结构图，如图2b所示，入耳式耳机包括左耳耳机和右耳耳机，相应的，声场采集装置也包括左耳声场采集装置和右耳声场采集装置。左耳声场采集装置设置于左耳耳机上，多个麦克风的收声一侧朝向左耳耳机的朝向外界的外壳上，而在该外壳上开孔以使得多个麦克风可以采集外界声音信号。右耳声场采集装置的结构与左耳声场采集装置的结构相同。基于入耳式耳机的特性，用户在佩戴上上述入耳式耳机时，左耳声场采集装置可以位于左耳耳廓内，右耳声场采集装置可以位于右耳耳廓内。
[0081]
图3为本技术电子设备的一个示意性的结构图，图3示出了电子设备为手机时的结构图。
[0082]
如图3，手机300可以包括处理器310，外部存储器接口320，内部存储器321，通用串行总线(universal serial bus，usb)接口330，充电管理模块340，电源管理模块341，电池342，天线1，天线2，移动通信模块350，无线通信模块360，音频模块370，扬声器370a，受话器370b，麦克风370c，耳机接口370d，传感器模块380，按键390，马达391，指示器392，摄像头393，显示屏394，以及用户标识模块(subscriber identification module，sim)卡接口395等。其中传感器模块380可以包括压力传感器380a，陀螺仪传感器380b，气压传感器380c，磁传感器380d，加速度传感器380e，距离传感器380f，接近光传感器380g，指纹传感器380h，温度传感器380j，触摸传感器380k，环境光传感器380l，骨传导传感器380m等。
[0083]
可以理解的是，本发明实施例示意的结构并不构成对手机300的具体限定。在本申
请另一些实施例中，手机300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0084]
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0085]
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0086]
处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。
[0087]
在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0088]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器310可以包含多组i2c总线。处理器310可以通过不同的i2c总线接口分别耦合触摸传感器380k，充电器，闪光灯，摄像头393等。例如：处理器310可以通过i2c接口耦合触摸传感器380k，使处理器310与触摸传感器380k通过i2c总线接口通信，实现手机300的触摸功能。
[0089]
i2s接口可以用于音频通信。在一些实施例中，处理器310可以包含多组i2s总线。处理器310可以通过i2s总线与音频模块370耦合，实现处理器310与音频模块370之间的通信。在一些实施例中，音频模块370可以通过i2s接口向无线通信模块360传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0090]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块370与无线通信模块360可以通过pcm总线接口耦合。在一些实施例中，音频模块370也可以通过pcm接口向无线通信模块360传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0091]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器310与无线通信模块360。例如：处理器310通过uart接口与无线通信模块360中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块370可以通过uart接口向无
线通信模块360传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0092]
mipi接口可以被用于连接处理器310与显示屏394，摄像头393等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器310和摄像头393通过csi接口通信，实现手机300的拍摄功能。处理器310和显示屏394通过dsi接口通信，实现手机300的显示功能。
[0093]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器310与摄像头393，显示屏394，无线通信模块360，音频模块370，传感器模块380等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0094]
usb接口330是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口330可以用于连接充电器为手机300充电，也可以用于手机300与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他手机，例如ar设备等。
[0095]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机300的结构限定。在本技术另一些实施例中，手机300也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0096]
充电管理模块340用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块340可以通过usb接口330接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块340可以通过手机300的无线充电线圈接收无线充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为手机供电。
[0097]
电源管理模块341用于连接电池342，充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入，为处理器310，内部存储器321，显示屏394，摄像头393，和无线通信模块360等供电。电源管理模块341还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块341也可以设置于处理器310中。在另一些实施例中，电源管理模块341和充电管理模块340也可以设置于同一个器件中。
[0098]
手机300的无线通信功能可以通过天线1，天线2，移动通信模块350，无线通信模块360，调制解调处理器以及基带处理器等实现。
[0099]
天线1和天线2用于发射和接收电磁波信号。手机300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0100]
移动通信模块350可以提供应用在手机300上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块350可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块350可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块350还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中，移动通信模
块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。
[0101]
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器370a，受话器370b等)输出声音信号，或通过显示屏394显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器310，与移动通信模块350或其他功能模块设置在同一个器件中。
[0102]
无线通信模块360可以提供应用在手机300上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0103]
在一些实施例中，手机300的天线1和移动通信模块350耦合，天线2和无线通信模块360耦合，使得手机300可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0104]
手机300通过gpu，显示屏394，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏394和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0105]
显示屏394用于显示图像，视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，手机300可以包括1个或n个显示屏394，n为大于1的正整数。
[0106]
手机300可以通过isp，摄像头393，视频编解码器，gpu，显示屏394以及应用处理器等实现拍摄功能。
[0107]
isp用于处理摄像头393反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头393中。
[0108]
摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，手机300可以包括1个或n个摄像头393，n为大于1的正整数。
[0109]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机300在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0110]
视频编解码器用于对数字视频压缩或解压缩。手机300可以支持一种或多种视频编解码器。这样，手机300可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0111]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现手机300的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0112]
外部存储器接口320可以用于连接外部存储卡，例如micro sd卡，实现扩展手机300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0113]
内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机300使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器321可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器310通过运行存储在内部存储器321的指令，和/或存储在设置于处理器中的存储器的指令，执行手机300的各种功能应用以及数据处理。
[0114]
手机300可以通过音频模块370，扬声器370a，受话器370b，麦克风370c，耳机接口370d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0115]
音频模块370用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中，音频模块370可以设置于处理器310中，或将音频模块370的部分功能模块设置于处理器310中。
[0116]
扬声器370a，也称“喇叭”，用于将音频电信号转换为声音信号。手机300可以通过扬声器370a收听音乐，或收听免提通话。
[0117]
受话器370b，也称“听筒”，用于将音频电信号转换成声音信号。当手机300接听电
话或语音信息时，可以通过将受话器370b靠近人耳接听语音。
[0118]
麦克风370c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风370c发声，将声音信号输入到麦克风370c。手机300可以设置至少一个麦克风370c。在另一些实施例中，手机300可以设置两个麦克风370c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机300还可以设置三个，四个或更多麦克风370c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0119]
耳机接口370d用于连接有线耳机。耳机接口370d可以是usb接口330，也可以是3.5mm的开放移动手机平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0120]
压力传感器380a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器380a可以设置于显示屏394。压力传感器380a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。。
[0121]
陀螺仪传感器380b可以用于确定手机300的运动姿态。
[0122]
气压传感器380c用于测量气压。
[0123]
磁传感器380d包括霍尔传感器。
[0124]
加速度传感器380e可检测手机300在各个方向上(一般为三轴)加速度的大小。
[0125]
距离传感器380f，用于测量距离。
[0126]
接近光传感器380g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。
[0127]
环境光传感器380l用于感知环境光亮度。
[0128]
指纹传感器380h用于采集指纹。
[0129]
温度传感器380j用于检测温度。
[0130]
触摸传感器380k，也称“触控器件”。触摸传感器380k可以设置于显示屏394，由触摸传感器380k与显示屏394组成触摸屏，也称“触控屏”。触摸传感器380k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏394提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器380k也可以设置于手机300的表面，与显示屏394所处的位置不同。
[0131]
骨传导传感器380m可以获得振动信号。
[0132]
按键390包括开机键，音量键等。按键390可以是机械按键。也可以是触摸式按键。手机300可以接收按键输入，产生与手机300的用户设置以及功能控制有关的键信号输入。
[0133]
马达391可以产生振动提示。马达391可以用于来电振动提示，也可以用于触摸振动反馈。
[0134]
指示器392可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0135]
sim卡接口395用于连接sim卡。sim卡可以通过插入sim卡接口395，或从sim卡接口395拔出，实现和手机300的接触和分离。手机300可以支持1个或n个sim卡接口，n为大于1的
正整数。sim卡接口395可以支持nano sim卡，micro sim卡，sim卡等。手机300通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，手机300采用esim，即：嵌入式sim卡。esim卡可以嵌在手机300中，不能和手机300分离。
[0136]
可以理解的是，本发明实施例示意的结构并不构成对电子设备的具体限定。在本技术另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0137]
图4为本技术双耳信号的获得方法的一个示例性的流程图，如图4所示，过程400可由图1中的声场采集装置 处理装置执行，声场采集装置和处理装置可以设置于同一设备中，例如声场采集装置和处理装置均是耳机中的部件(例如如图2b所示)，二者之间可以通过设备内部的总线进行指令或数据传输；声场采集装置和处理装置也可以设置于不同设备中，例如声场采集装置与入耳式耳机连接(例如如图2a所示)，处理装置设置于手机(例如如图3所示)中，二者之间可以创建有线链路或无线链路以进行指令或数据传输。过程400描述为一系列的步骤或操作，应当理解的是，过程400可以以各种顺序执行和/或同时发生，不限于图4所示的执行顺序。
[0138]
本技术中foa信号可以是指用户的左耳廓内的foa信号，也可以是指用户的右耳廓内的foa信号，可以采用相同的方法分别获得上述两种foa信号。以下以获得左耳廓的foa信号为例进行描述，右耳廓的foa信号的获得方法与此相同，不再赘述。
[0139]
本技术中双耳信号包括对应于左耳廓的声场信号和对应于右耳廓的声场信号，也可以采用相同的方法分别获得对应于左耳廓的声场信号和对应于右耳廓的声场信号。以下以获得对应于左耳廓的声场信号为例进行描述，对应于右耳廓的声场信号的获得方法与此相同，不再赘述。应当理解，双耳信号是基于左右耳的，因此为获得双耳信号需要同步获得对应于左耳廓的声场信号和对应于右耳廓的声场信号。
[0140]
步骤401、位于左耳廓内的左耳声场采集装置采集以获得左耳廓内的foa信号。
[0141]
本技术可以采用以下两种方法获得左耳廓内的foa信号：
[0142]
(1)当位于左耳廓内的左耳声场采集装置为foa声场采集装置时，左耳声场采集设备直接采集以获得左耳廓内的foa信号。
[0143]
如图2a所示，左耳声场采集装置与左耳耳机通过连接件连接，当用户带上左耳耳机时，左耳声场采集装置随着左耳耳机一起处于用户的左耳廓内，因此左耳声场采集装置可以直接对周围的声音信号进行采集，获得左耳廓内的foa信号。如此一来左耳声场采集装置采集到的foa信号就包含了左耳廓对声场影响，更接近于真实环境下人的左耳听音时左耳廓位置的真实声场。图5a为本技术左耳廓内的foa信号的一个示例性的示意图，如图5a所示，左耳廓内的foa信号包括四个分量wl、xl、yl和zl，其中，wl表示左耳廓内的foa信号的环境分量，xl表示左耳廓内的foa信号的x轴方向分量，yl表示左耳廓内的foa信号的y轴方向分量，zl表示左耳廓内的foa信号的z轴方向分量。
[0144]
在一种可能的实现方式中，由于用户在佩戴左耳耳机时，基于左耳耳机的佩戴方式，左耳声场采集装置获得的左耳廓内的foa信号的xl、yl和zl三个分量的方向并不一定每次都能如图5a所示的标准佩戴时的方向，很可能在水平方向和/或俯仰方向上发生角度偏转。图5b为本技术左耳廓内的foa信号的一个示例性的示意图，如图5b所示，左耳声场采集
装置在水平方向上，从标准佩戴时的方向(对应于xl和yl)发生水平角度偏转(对应于xl’和yl’)，其偏转角度为θ。图5c为本技术左耳廓内的foa信号的一个示例性的示意图，如图5c所示，左耳声场采集装置在俯仰方向上，从标准佩戴时的方向(对应于xl和zl)发生俯仰角度偏转(对应于xl’和zl’)，其偏转角度为因此如果直接使用角度偏转时的左耳声场采集装置获得的foa信号，可能会导致收录的声场与实际的声场不一致的情况。
[0145]
左耳声场采集装置可以通过重力传感器(重力传感器可以设置于左耳声场采集装置或者左耳耳机上)获得左耳声场采集装置的偏转角度，该偏转角度包括水平偏转角度和/或俯仰偏转角度。当左耳声场采集装置的偏转角度满足第一设定条件时，左耳声场采集装置根据偏转角度对左耳声场采集装置获得的信号进行偏转校正，以获得左耳廓内的foa信号。或者，当左耳声场采集装置的偏转角度不满足第一设定条件时，左耳声场采集装置将获得的信号作为左耳廓内的foa信号。
[0146]
可选的，本技术可以仅根据左耳声场采集装置的偏转角度对左耳声场采集装置获得的信号进行偏转校正，此时第一设定条件可以是左耳声场采集装置的偏转角度大于0。若确定要进行偏转校正，则左耳声场采集装置将xl’yl’zl’方向下的foa信号转换成xlylzl方向下的foa信号，例如，根据水平偏转角度和/或俯仰偏转角度计算偏转校正矩阵，然后根据偏转校正矩阵和xl’yl’zl’方向下的foa信号计算以获得xlylzl方向下的foa信号(即为左耳廓内的foa信号)。
[0147]
例如，假设左耳声场采集装置的水平偏转角度为θ，俯仰偏转角度为θ和/或大于0，根据水平偏转角度θ和俯仰偏转角度计算偏转校正矩阵r：
[0148][0149]
根据偏转校正矩阵r和xl’yl’zl’方向下的foa信号计算以获得xlylzl方向下的foa信号，可以是：
[0150]
[xl yl zl]＝r
·
[xl
’ꢀ
yl
’ꢀ
zl’]
[0151]
其中，
·
表示向量之间的点积。
[0152]
可选的，本技术也可以根据左耳声场采集装置的偏转角度和右耳声场采集装置的偏转角度分别对左耳声场采集装置获得的信号和右耳声场采集装置获得的信号进行偏转校正，此时第一设定条件可以是左耳声场采集装置的水平偏转角度和右耳声场采集装置的水平偏转角度不相等，和/或，左耳声场采集装置的俯仰偏转角度和右耳声场采集装置的俯仰偏转角度不相等，第二设定条件可以是左耳声场采集装置的水平偏转角度和右耳声场采集装置的水平偏转角度相等，且，左耳声场采集装置的俯仰偏转角度和右耳声场采集装置的俯仰偏转角度相等。若确定要进行偏转校正，则左耳声场采集装置将xl’yl’zl’方向下的foa信号转换成xlylzl方向下的foa信号，右耳声场采集装置将xl’yl’zl’方向下的foa信号转换成xlylzl方向下的foa信号。
[0153]
例如，假设左耳声场采集装置的水平偏转角度为θ
l
、俯仰偏转角度为右耳声场采集装置的水平偏转角度为θr、俯仰偏转角度为
[0154]
(a)当θ
l
＝θr且时，左耳声场采集装置可以直接采集以获得左耳廓内的foa信号，右耳声场采集装置可以直接采集以获得右耳廓内的foa信号。
[0155]
(b)当θ
l
＝θr且时，可以根据左耳声场采集装置的俯仰偏转角度和右耳
声场采集装置的俯仰偏转角度同时对左耳廓内的foa信号和右耳廓内的foa信号进行俯仰方向的偏转校正：
[0156]
左耳廓内的foa信号的俯仰方向校正矩阵rv
l
，满足：
[0157][0158]
右耳廓内的foa信号的俯仰方向校正矩阵rvr，满足：
[0159][0160]
根据xl’l yl’l zl’l
方向下的左耳廓内的foa信号以及左耳廓内的foa信号的俯仰方向校正矩阵rv
l
，获得偏转校正后的左耳廓内的foa信号，满足：
[0161]
[xl
l yl
l zl
l
]＝rv
l
·
[xl’l yl’l zl’l
]
[0162]
根据xl’r yl’r zl’r
方向下的右耳廓内的foa信号以及右耳廓内的foa信号的俯仰方向校正矩阵rvr，获得偏转校正后的右耳廓内的foa信号，满足：
[0163]
[xl
r yl
r zlr]＝rvr·
[xl’r yl’r zl’r
]
[0164]
可选的，可以以左耳廓内的foa信号为基准仅对右耳廓内的foa信号进行俯仰方向的偏转校正，右耳廓内的foa信号的俯仰方向校正矩阵rvr，满足：
[0165][0166]
可选的，可以以右耳廓内的foa信号为基准仅对左耳廓内的foa信号进行俯仰方向的偏转校正，左耳廓内的foa信号的俯仰方向校正矩阵rv
l
，满足：
[0167][0168]
(c)当θ
l
≠θr且时，可以根据左耳声场采集装置的水平偏转角度
l
和右耳声场采集装置的水平偏转角度θr，同时对左耳廓内的foa信号和右耳廓内的foa信号进行水平方向的偏转校正：
[0169]
左耳廓内的foa信号的水平方向校正矩阵rh
l
，满足：
[0170]
rh
l
＝[cosθ
l sinθ
l 1]
[0171]
右耳廓内的foa信号的水平方向校正矩阵rhr，满足：
[0172]
rhr＝[cosθ
r sinθ
r 1]
[0173]
根据xl’l yl’l zl’l
方向下的左耳廓内的foa信号以及左耳廓内的foa信号的水平方向校正矩阵rh
l
，获得偏转校正后的左耳廓内的foa信号，满足：
[0174]
[xl
l yl
l zl
l
]＝rh
l
·
[xl’l yl’l zl’l
]
[0175]
根据xl’r yl’r zl’r
方向下的右耳廓内的foa信号以及右耳廓内的foa信号的水平方向校正矩阵rhr，获得偏转校正后的右耳廓内的foa信号，满足：
[0176]
[xl
r yl
r zlr]＝rhr·
[xl’r yl’r zl’r
]
[0177]
可选的，可以以左耳廓内的foa信号为基准仅对右耳廓内的foa信号进行水平方向的偏转校正，右耳廓内的foa信号的水平方向校正矩阵rhr，满足：
[0178]
rhr＝[cos(θ
r-θ
l
) sin(θ
r-θ
l
) 1]
[0179]
可选的，可以以右耳廓内的foa信号为基准仅对左耳廓内的foa信号进行水平方向的偏转校正，左耳廓内的foa信号的水平方向校正矩阵rh
l
，满足：
[0180]
rh
l
＝[cos(θ
l-θr) sin(θ
l-θr) 1]
[0181]
(d)当θ
l
≠θr且时，可以根据左耳声场采集装置的水平偏转角度θ
l
、右耳声
场采集装置的水平偏转角度θr、左耳声场采集装置的俯仰偏转角度以及右耳声场采集装置的俯仰偏转角度同时对左耳廓内的foa信号和右耳廓内的foa信号进行俯仰方向的偏转校正：
[0182]
左耳廓内的foa信号的校正矩阵r
l
，满足：
[0183][0184]
根据xl’l yl’l zl’l
方向下的左耳廓内的foa信号进行偏转校正计算，以获得xl
l yl
l zl
l
方向下的左耳廓内的foa信号，可以是：
[0185]
[xl
l yl
l zl
l
]＝r
l
·
[xl’l yl’l zl’l
]
[0186]
右耳廓内的foa信号的校正矩阵rr，满足：
[0187][0188]
根据xl’r yl’r zl’r
方向下的右耳廓内的foa信号进行偏转校正计算，以获得xl
r yl
r zlr方向下的右耳廓内的foa信号，可以是：
[0189]
[xl
r yl
r zlr]＝rr·
[xl’r yl’r zl’r
]
[0190]
可选的，可以以左耳廓内的foa信号为基准仅对右耳廓内的foa信号进行偏转校正，右耳廓内的foa信号的校正矩阵rr，满足：
[0191][0192]
可选的，可以以右耳廓内的foa信号为基准仅对左耳廓内的foa信号进行偏转校正，左耳廓内的foa信号的校正矩阵r
l
，满足：
[0193][0194]
(2)当位于左耳廓内的左耳声场采集装置包括具有特定拓扑结构的多个麦克风时，左耳声场采集装置中的多个麦克风获得多路信号，获得多路信号与foa信号之间的第一转换矩阵，根据多路信号和第一转换矩阵获得左耳廓内的foa信号。
[0195]
如图2b所示，左耳声场采集装置设置于左耳耳机上，当用户带上左耳耳机时，左耳声场采集装置随着左耳耳机一起处于用户的左耳廓内。此时该多个麦克风的收声一侧朝向左耳耳机的朝向外界的外壳上，而在该外壳上开孔以使得多个麦克风可以采集外界声音信号，因此通过多个麦克风可以采集到该多个麦克风各自朝向上的信号(多路信号)。图6为本技术第i个麦克风的一个示例性的示意图，如图6所示，左耳声场采集装置包括m(通常m≥4)个麦克风，1≤i≤m，左耳声场采集装置中的第i个麦克风的极坐标表示为其中，l表示左，dli表示左耳声场采集装置中的第i个麦克风与中心位置(即左耳廓对应的极坐标系的原点ol)的距离，θli表示左耳声场采集装置中的第i个麦克风的方位角，表示左耳声场采集装置中的第i个麦克风的俯仰角。因此，左耳声场采集装置中的第i个麦克风采集的信号sli和左耳廓内的foa信号(wl表示左耳廓内的foa信号的环境分量，xl表示左耳廓内的foa信号的x轴方向分量，yl表示左耳廓内的foa信号的y轴方向分量，zl表示左耳廓内的foa信号的z轴方向分量)有以下关系：
[0196][0197]
进而可以得到左耳廓内的foa信号向多个麦克风采集的多路信号转换的第二转换
矩阵fml为：
[0198][0199]
计算上述第二转换矩阵的逆矩阵，即为多个麦克风采集的多路信号向左耳廓内的foa信号转换的第一转换矩阵mfl：mfl＝fml-1
[0200]
最后根据上述第二转换矩阵mfl和多路信号sli(i＝1～m)获得左耳廓内的foa信号(包括wl、xl、yl和zl四个分量)为：
[0201][0202]
以上通过位于用户的左耳廓内或右耳廓内的声场采集设备获得左耳廓内的foa信号或右耳廓内的foa信号，一方面可以记录双耳耳廓位置的声场，另一方面可以记录耳廓的影响，以便于获得更好的声场还原效果。
[0203]
步骤402、左耳声场采集装置将左耳廓内的foa信号传输给处理装置。
[0204]
处理装置可以通过与声场采集装置之间的总线接收左耳廓内的foa信号，也可以通过与声场采集装置之间的有线链路或无线链路接收左耳廓内的foa信号。本技术对此不做具体限定。
[0205]
步骤403、获得多个hrtf系数，该多个hrtf系数和预先设定的多个虚拟扬声器的方位对应，且该多个hrtf系数均是以左耳廓为中心获得的。
[0206]
头部相关传输函数(head related transfer function，hrtf)是一种音效定位算法，从空间任意一点传到人耳(鼓膜前)的信号都可以用一个滤波系统来描述，音源 滤波器得到的就是双耳鼓膜前的声音信号。通常我们不必关心声音是如何传递到双耳的，只需关心音源和双耳信号的差别。如果获得描述空间信息的滤波器(传递函数)，即hrtf，就能还原来自空间这个方位的声音信号。如果获得空间内的所有方位到双耳的hrtf系数，就能得到一个滤波矩阵，从而还原来自整个空间方位的声音信号。要获得hrtf系数，通常可以先制作一个头部模型并安装一支麦克风到耳膜的位置，然后从固定的位置发出一些声音，分析从麦克风中得到声音以获得被头部模型所改变的具体数据，接着设计一个音频过滤器来模仿该改变效果。如果需要模仿某个位置所发出的声音的时候就使用上述过滤器来模仿即可。过滤器的回应被认为是一个hrtf系数，可以针对每个可能存在声源的地方测量以获得一个hrtf系数。
[0207]
本实施例中的多个hrtf系数均是以左耳廓为中心获得的，即上述麦克风的位置被模拟设置于左耳廓的位置。由于预先设定了多个虚拟扬声器的方位，因此不需要获得所有可能存在声源的地方，只需要获得与多个虚拟扬声器的方位对应的hrtf系数即可。虚拟扬声器是为了在声音渲染过程中能够模拟多通道环绕声效果而虚拟的扬声器，如果将虚拟扬声器信号通过与虚拟扬声器配置相同的扬声器系统播放出来即可获得多通道环绕声效果。
[0208]
在一种可能的实现方式中，处理装置可以根据预先设定的多个虚拟扬声器的方位从第一hrtf系数集合获得多个hrtf系数，该第一hrtf系数集合中的hrtf系数均是以左耳廓为中心获得的。
[0209]
如上所述，可以预先测量获得空间内的所有方位到左耳廓的hrtf系数，就能得到一组包含所有方位对应的hrtf系数的集合。需要说明的是，前述所有方位仅作为一种示例，但并不构成限定，即预先测量的方位的范围可以是指所有方位，也可使是指某朝向上的所有方位，还可以是指全朝向上的部分方位，本技术对此不做具体限定。
[0210]
多个虚拟扬声器信号的方位已经预先设定，因此结合一组包含所有方位对应的hrtf系数的集合，从中找到与多个虚拟扬声器信号的方位分别对应的hrtf系数。
[0211]
在一种可能的实现方式中，处理装置可以先根据预先设定的多个虚拟扬声器的方位从第二hrtf系数集合获得多个中间hrtf系数，该第二hrtf系数集合中的hrtf系数均是以用户的头部中心为中心获得的，然后对多个中间hrtf系数分别进行旋转处理以获得多个hrtf系数。
[0212]
与上述实现方式的区别在于，在获得一组包含所有方位对应的hrtf系数的集合时，是获得空间内的所有方位到用户的头部中心的hrtf系数，即是以用户的头部中心为中心获得hrtf系数。同样的，前述所有方位仅作为一种示例，但并不构成限定，即预先测量的方位的范围可以是指所有方位，也可使是指某朝向上的所有方位，还可以是指全朝向上的部分方位，本技术对此不做具体限定。
[0213]
多个虚拟扬声器信号的方位已经预先设定，因此结合一组包含所有方位对应的hrtf系数的集合，从中找到与多个虚拟扬声器信号的方位分别对应的以用户的头部中心为中心的hrtf系数。
[0214]
图7为本技术hrtf系数的一个示例性的示意图，如图7所示，获得以用户的头部中心为中心的hrtf系数后，对该hrtf系数进行顺时针( γ)旋转处理得到左耳廓的hrtf系数，对该hrtf系数进行逆时针(-γ)旋转处理得到右耳廓的hrtf系数。
[0215]
步骤404、根据左耳廓内的foa信号和多个hrtf系数获得对应于左耳廓的声场信号。
[0216]
处理装置可以根据左耳廓内的foa信号获得多个虚拟扬声器信号，然后根据多个虚拟扬声器信号和多个hrtf系数获得对应于左耳廓的声场信号。
[0217]
可选的，可以根据以下公式获得对应于左耳廓的第j个虚拟扬声器信号：
[0218][0219]
其中，plj表示对应于左耳廓的第j个虚拟扬声器信号，l表示左，1≤j≤l，l表示多个虚拟扬声器信号的总个数，wl表示左耳廓内的foa信号的环境分量，xl表示左耳廓内的foa信号的x轴方向分量，yl表示左耳廓内的foa信号的y轴方向分量，zl表示左耳廓内的foa信号的z轴方向分量，表示对应于左耳廓的第j个虚拟扬声器信号的俯仰角，θlj表示对应于左耳廓的第j个虚拟扬声器信号的方位角。
[0220]
可选的，可以根据以下公式获得对应于左耳廓的声场信号：
[0221][0222]
其中，yl表示对应于第一耳廓的声场信号，l表示左，l表示多个虚拟扬声器信号的总个数，plj表示对应于左耳廓的第j个虚拟扬声器信号，hrtflj表示与第j个虚拟扬声器信号对应、且以左耳廓为中心获得的hrtf系数。
[0223]
本实施例，采集获得左耳廓内的foa信号和右耳廓内的foa信号，如此一来该两种foa信号就包含了耳廓对声场影响，更接近于真实环境下人耳听音时耳廓位置的真实声场。另外，为了在声音渲染过程中能够模拟多通道环绕声效果而虚拟了多个虚拟扬声器，获得该多个虚拟扬声器信号和该多个虚拟扬声器信号对应的多个hrtf信号，该hrtf信号是以左耳廓或右耳廓为中心获得的，进而根据多个虚拟扬声器信号和多个hrtf系数将采集获得的双耳廓内的foa信号转换为双耳廓的声场信号，如果将虚拟扬声器信号通过与虚拟扬声器配置相同的扬声器系统播放出来即可获得多通道环绕声效果。
[0224]
图8为本技术声场采集装置的一个示例性的结构示意图，如图8所示，本实施例的装置可以应用于图2a和2b所示的耳机或图3所示的手机。该包括：采集模块801。
[0225]
采集模块801，用于通过位于第一耳廓内的第一声场采集装置采集以获得第一一阶双音学foa信号，所述第一耳廓为用户的左耳廓或右耳廓。
[0226]
在一种可能的实现方式中，所述第一声场采集装置与第一耳机连接；或者，所述第一声场采集装置设置于所述第一耳机中；所述第一耳机佩戴于所述第一耳廓内。
[0227]
在一种可能的实现方式中，所述采集模块801，还用于通过重力传感器获得所述第一声场采集装置的偏转角度，所述偏转角度包括水平偏转角度和/或俯仰偏转角度；当所述第一声场采集装置的偏转角度满足第一设定条件时，根据所述偏转角度对所述第一声场采集装置获得的信号进行偏转校正，以获得所述第一foa信号；或者，当所述第一声场采集装置的偏转角度不满足所述第一设定条件时，将所述第一声场采集装置获得的信号作为所述第一foa信号；其中，所述第一设定条件为所述第一声场采集装置的偏转角度大于0；或者，当所述第一声场采集装置包括位于左耳廓内的第一声场采集装置和位于右耳廓内的第一声场采集装置时，所述第一设定条件为所述位于左耳廓内的第一声场采集装置的偏转角度和所述位于右耳廓内的第一声场采集装置的偏转角度不相等。
[0228]
在一种可能的实现方式中，所述重力传感器设置于所述第一声场采集装置中；或者，所述重力传感器设置于第一耳机中。
[0229]
在一种可能的实现方式中，所述采集模块801，具体用于根据所述第一声场采集装置的偏转角度获得所述第一声场采集装置的偏转校正矩阵；根据所述第一声场采集装置获得的信号和所述偏转校正矩阵获得所述第一foa信号。
[0230]
在一种可能的实现方式中，当所述第一声场采集装置为foa声场采集装置时，所述采集模块801，具体用于所述foa声场采集装置直接采集以获得所述第一foa信号。
[0231]
在一种可能的实现方式中，当所述第一声场采集装置包括具有特定拓扑结构的多个麦克风时，所述采集模块801，具体用于通过所述多个麦克风获得多路信号；获得所述多路信号与foa信号之间的第一转换矩阵；根据所述多路信号和所述第一转换矩阵获得所述第一foa信号。
[0232]
在一种可能的实现方式中，所述采集模块801，具体用于获得所述多个麦克风各自
的极坐标；根据所述多个麦克风各自的极坐标获得foa信号和所述多路信号之间的第二转换矩阵；将所述第二矩阵的逆矩阵确定为所述第一转换矩阵。
[0233]
本实施例的装置，可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0234]
图9为本技术处理装置的一个示例性的结构示意图，如图9所示，本实施例的装置可以应用于图3所示的手机。该装置可以包括：获得模块901和处理模块902。其中，
[0235]
获得模块901，用于获得第一一阶双音学foa信号，所述第一foa信号是位于第一耳廓内的第一声场采集装置采集获得的，第一耳廓为用户的左耳廓或右耳廓；获得多个头部相关传输函数hrtf系数，所述多个hrtf系数和预先设定的多个虚拟扬声器的方位对应，且所述多个hrtf系数均是以所述第一耳廓为中心获得的；处理模块902，用于根据所述第一foa信号和所述多个hrtf系数获得对应于所述第一耳廓的声场信号；其中，所述双耳信号包括对应于所述左耳廓的声场信号和对应于所述右耳廓的声场信号。
[0236]
在一种可能的实现方式中，所述获得模块901，具体用于根据预先设定的多个虚拟扬声器的方位从第一hrtf系数集合获得所述多个hrtf系数，所述第一hrtf系数集合中的hrtf系数均是以所述第一耳廓为中心获得的。
[0237]
在一种可能的实现方式中，所述获得模块901，具体用于根据预先设定的多个虚拟扬声器的方位从第二hrtf系数集合获得多个中间hrtf系数，所述第二hrtf系数集合中的hrtf系数均是以用户的头部中心为中心获得的；对所述多个中间hrtf系数分别进行旋转处理以获得所述多个hrtf系数。
[0238]
在一种可能的实现方式中，所述处理模块902，具体用于根据所述第一foa信号获得所述多个虚拟扬声器信号；根据所述多个虚拟扬声器信号和所述多个hrtf系数获得对应于所述第一耳廓的声场信号。
[0239]
在一种可能的实现方式中，所述处理模块902，具体用于根据以下公式获得第j个虚拟扬声器信号：
[0240][0241]
其中，pij表示所述第j个虚拟扬声器信号，i用于表示所述第一耳廓，l表示所述多个虚拟扬声器信号的总个数，wi表示所述第一foa信号的环境分量，xi表示所述第一foa信号的x轴方向分量，yi表示所述第一foa信号的y轴方向分量，zi表示所述第一foa信号的z轴方向分量，表示第j个虚拟扬声器信号的俯仰角，θij表示第j个虚拟扬声器信号的方位角。
[0242]
在一种可能的实现方式中，所述处理模块902，具体用于根据以下公式获得对应于所述第一耳廓的声场信号：
[0243][0244]
其中，yi表示所述对应于所述第一耳廓的声场信号，i用于表示所述第一耳廓，l表示所述多个虚拟扬声器信号的总个数，pij表示第j个虚拟扬声器信号，hrtfij表示与所述第j个虚拟扬声器信号对应、且以所述第一耳廓为中心获得的hrtf系数。
[0245]
本实施例的装置，可以用于执行图4所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0246]
在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signal processor,dsp)、特定应用集成电路(application-specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array,fpga)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本技术实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0247]
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0248]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0249]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0250]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0251]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0252]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0253]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0254]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。