用于平移音频对象的处理方法和系统与流程

用于平移音频对象的处理方法和系统
1.本技术是国际申请日为2018年1月29日、国家申请号为 201880015524.4、发明名称为“用于平移音频对象的处理方法和系统”的发明专利申请的分案申请。
技术领域
2.本发明涉及用于在多声道扬声器设置上平移音频对象的声音处理方法和系统。


背景技术：

3.声音平移系统(sound panning system)是音频制作和再现链的典型部件。它们已经普遍出现在电影混合阶段中达数十年，最近出现在电影院和家庭电影院中，并且允许使用多个扬声器来空间化音频内容。
4.现代系统通常采用包括音频数据和依赖于时间的位置元数据的一个或多个音频输入流，并且将所述音频流动态地分发到多个扬声器，该多个扬声器空间布置是任意的。
5.依赖于时间的位置元数据通常包括三维(3d)坐标，诸如笛卡尔坐标或球坐标。通常使用类似的3d坐标来描述扬声器空间布置。
6.理想地，所述平移系统考虑扬声器的空间位置和音频节目的空间位置，并动态地调整输出扬声器增益，使得被平移的流的被感知的位置是输入元数据的位置。
7.典型的平移系统在给定位置元数据的情况下计算n个扬声器增益的集合，并将所述n个增益应用于输入音频流。
8.已经开发了许多用于研究或剧场设施的平移系统技术。
9.自从blumlein工作以来，尤其是在gb 394325中，立体声系统就已经为人所知，其后是如us 2298618中所述的用于fantasia电影的系统，以及诸如warnerphonic之类的其它电影相关系统。立体声乙烯基盘的标准化允许立体声音频系统的大规模大众化。
10.然后对内容创建系统(尤其是混音台)的调整是强制性的，因为它们只能进行单声混音(monophonic sound mixing)。开关被添加到控制台以将声音引导到一个声道，或同时引导到两个声道。这种离散平移系统被广泛使用直到1960年代中期，在1960年代中期的时侯双电位计系统被引入以便允许立体声平移的连续变化而不使原始信号劣化。
11.基于相同的重新分割原理，此后所谓的环绕平移系统被引入以允许在多于两个声道上分发单声信号，例如在电影音轨的上下文中，其中使用三到七个声道是普遍的。最常见的实现，通常称为“成对平移”，由双立体声平移系统组成，一个用于左-右分发，以及另一个用于前-后分发。然后，通过添加第三平移系统以管理水平换能器层之间的上-下声音重新分割来将这样的系统扩展到三维是平凡的。
12.但是，在一些情况下，必须将换能器定位在左-右或前-后位置之间，例如中央声道被放置在左声道和右声道的中间并且用于电影音轨中的对话。这要求立体声平移系统的实质性修改。实际上，出于美学或技术原因，可以期望经由左声道和右声道或者单独经由中央声道或者甚至同时经由三个声道来重放中央信号。
13.诸如dolby atmos或auro-max之类的基于对象的音频格式的出现最近需要在中间
位置添加附加的换能器，例如沿着电影院的墙壁添加，以便确保所述音频对象的良好定位精度。这种系统通常由上面提到的所谓的成对平移系统管理，其中换能器被成对使用。除了其它原因之外，这种成对平移系统的使用还可以通过房间中的换能器组的对称性来证明其合理性。在这种系统中使用的坐标通常是笛卡尔坐标，并且假设换能器沿着房间的面围绕观众定位。
14.公开了其它方法，诸如基于向量的幅度平移(vbap)，一种允许计算位于三角形3d网格的顶点上的换能器的增益的算法。进一步的发展允许vbap在包括四边形面(wo2013181272a2)或任意n边形(wo2014160576)的布置上使用。
15.vbap最初是为了在任意布置上产生点源平移而开发的。在“uniform spreading of amplitude panned virtual sources”(proc. 1999ieee workshop on applications of signal processing to audioand acoustics，新帕尔茨，纽约，1999年10月17-20日)中，pulkki 提出了对vbap的新增加，即用于允许源的均匀散布(spread)的多向幅度平移(mdap)。该方法基本上涉及在原始源位置周围的附加源，然后使用vbap平移这些附加源并将其叠加到原始平移增益。如果需要非均匀散布，或者更一般地在三维平移情况下的密集扬声器布置上，那么附加源的数量可以非常高并且计算开销将是大量的。 mdap是在mpeg-h vbap渲染器中使用的方法。
16.类似地，在三维平移方法的上下文中，wo2014159272 (rendering of audio objects with apparent size to arbitraryloudspeaker layouts)引入了源宽度技术，该技术基于在初始源周围创建多个虚拟源，其贡献最终总计为形成换能器增益。
17.在“an optimization approach to control sound source spreadwith multichannel amplitude panning”(proc.csv24，伦敦，2017 年7月23-27日)中，franck等提出了用于源宽度控制的另一种方法，该方法基于凸优化技术，这种方法在没有源宽度的情况下将自身还原为vbap。一些虚拟源方法还涉及去相关(decorrelation)步骤，诸如wo2015017235。
18.基于声场的球谐函数表示的高保真度立体声响复制(ambisonics) 也已被广泛用于音频平移(最近的示例在wo2014001478中给出)。
19.原始高保真度立体声响复制平移技术中的最重要的缺点是扬声器布置应在3d空间中尽可能规则，从而强制使用规则布局，诸如扬声器位于柏拉图立体或者3d球体的其它最大程度地规则的棋盘形布置的顶点处。这种约束常常限制高保真度立体声响复制平移用于特殊情况。为了克服这些限制，使用例如vbap和高保真度立体声响复制二者的混合方法已经在wo2011117399中公开，并且在wo2013143934 中进一步完善。
20.高保真度立体声响复制的另一个问题是点源几乎从不会仅被一个或两个扬声器重放：因为该技术基于在给定位置中或在给定空间中声场的重建，对于单个点源来说，大数量的扬声器将发射可能相移的信号。虽然它理论上允许在具体位置中的声场的完美重建，但这种行为也意味着在这方面偏离中心的收听位置在某种程度上是次优的：在一些情况下，优先效应将使得点源被感知为来自空间中的非预期位置。
21.还提出了能够使用完全任意空间布局的其它方法，例如基于距离的音频平移(dbap)(“distance-based amplitude panning”， lossius等，icmc 2009)。在“evaluation of distance basedamplitude panning for spatial audio”中，与三阶高保真度立体声
响复制相比，dbap显示出令人满意的结果，尤其是当收听者关于扬声器布置是偏离中心的时，并且dbap还显示出在大多数配置中表现得非常类似于vbap。
22.dbap最突出的问题是选择基于距离的衰减规律(attenuationlaw)，这对算法至关重要。如us20160212559中所示，由于该算法不考虑空间扬声器密度的事实，常数规律(constantlaw)只能处理规则布置，并且dbap在不规则的空间扬声器布置方面有问题。
23.还提出了扬声器放置校正幅度平移(spcap)(“anovelmultichannelpanningmethodforstandardandarbitraryloudspeakerconfigurations”，kyriakakis等，aes2004)。dbap和spcap方法二者都只考虑输入源的期望位置和扬声器的位置之间的度量(metric)，例如在dbap的情况下度量是欧几里德距离，或者在spcap的情况下度量是源和扬声器之间的角度。
24.spcap优于上述离散平移方案的优点之一是它最初被开发以提供用于产生宽(非点源)声音的框架(framework)。
25.为了这个效果，虚拟三维心形线(其主轴是被平移的声音的方向)被投影到空间扬声器布置上，心形线函数的值间接地产生最终的扬声器增益。通过将整个函数提高到大于或等于0的给定幂，可以控制所述心形线函数的紧密度(tightness)，从而可以产生具有用户可设置的宽度的声音。
26.在kyriakakis等，aes2004中提出的心形线规律(cardioidlaw)，是幂升高规律(power-raisedlaw)：
[0027][0028]
其中d表示与散布相关的宽度，其指示源相对于源的位置的空间范围，并且范围从0到1。


技术实现要素：

[0029]
对诸如spcap之类的现有技术方法的一个关键观察是在kyriakakis等，aes2004中提出的心形线规律不足以产生点源：不能模拟这种聚焦的源而不遇到扬声器吸引问题。
[0030]
在原始spcap算法中提出的幂升高规律的另一个问题是所述心形线函数在π的角度处的不连续性：对于u≠0，r(π)＝0，但是对于u＝0，r(π)＝1。这意味着位于与被平移的源完全相反处的扬声器对于接近但不等于0的u的值将永远不会产生任何声音，但是对于u＝0将会突然产生声音。
[0031]
为了说明心形线规律的不足，图4和图5示出了针对原始spcap算法的紧密度控制(或等效地，散布控制)的效果。在图4上，在窄方向性的情况下，声音从一个扬声器跳到另一个扬声器，如在示出makita的“速度”和gerzon的“能量”向量方向的灰色曲线上可以看到的。速度向量可以被计算为
[0032][0033]
并且被认为是在700至1000hz下声音定位被如何感知的良好指示，而被计算为
[0034]
的能量向量给出了在700至1000hz上的声音定位。在上文中，是指向第i个换能器的酉向量(unitary vector)，并且gi是第i个换能器的增益。在图5中，在宽方向性的情况下，可以看到声音在相邻扬声器上“溢出”，如预期的那样。因此，原始的spcap算法无法提供令人满意的方式来产生移动的点源。
[0035]
本发明的目的是提供所有上面提到的标准算法的问题的解决方案，即：
[0036]-vbap的源散布方法的复杂性，
[0037]-spcap缺乏产生令人满意的固定或移动的点源的能力，
[0038]-高保真度立体声响复制的点源通常由大数量的扬声器发射，
[0039]
因此在偏离中心的收听位置中产生次优的声场的事实，
[0040]-以及dbap在不规则布置(诸如在电影院中发现的那些布置) 方面的问题。
[0041]
在第一方面，本发明提供了沿着音频轴处理音频对象的方法。
[0042]
所公开的发明建立在原始spcap的实质性修改版本上，解决了上面提到的问题，同时保持了算法的优点。
[0043]
在所公开的发明中，心形线规律被修改使得当散布改变时它不具有空间不连续性，并且散布不再被约束到0..1区间。
[0044]
在一个实施例中，心形线规律被修改为伪心形线规律，
[0045][0046]
其中u表示根据本发明的散布，其范围从0到无穷大。可以代替地使用在可变散布值的情况下具有相同空间连续性的任何其它规律。图6 中呈现了根据本发明的示例。
[0047]
为了解决图4和图5中呈现的移动点源问题，本算法还在与源相同的位置处添加了虚拟扬声器。然后使用以下步骤：
[0048]
1.借助于任何适用的平移规律，例如经由基于幅度或距离的平移，来计算围绕源的扬声器的增益。
[0049]
2.还向扬声器布置添加附加的虚拟扬声器。所述虚拟扬声器具有与被平移的源相同的位置。
[0050]
3.使用修改的心形线规律和添加有所述虚拟扬声器的物理扬声器布置来运行spcap算法，从而针对修改的扬声器布置产生扬声器增益。
[0051]
4.使用在第一步骤中找到的增益，在所述围绕的扬声器上重新分发虚拟扬声器信号，该信号可选地由紧密度值修改。
[0052]
这种新颖的算法解决了上面提到的问题：
[0053]
●
与spcap相反，可以通过所公开的方法产生点源，因为在这种情况下，紧密度高并且扬声器增益完全符合利用在第一步骤期间使用的标准平移规律(例如基于幅度或距离)发现的那些。
[0054]
●
与高保真度立体声响复制相反，点源由有限数量的扬声器发射，甚至在某些情况下可能由单个扬声器发射。
[0055]
●
与vbap相反，可以借助于上面公开的简单的空间连续的规律产生最大程度地宽的声音，并且所有中间源宽度值可以由算法产生，而无需额外的步骤。
[0056]
●
与dbap相反，使用修改的spcap算法的事实确保扬声器密度可以被平移算法考虑。
[0057]
这个算法还确保，即使对于高散布值，被平移的源的声能和速度向量仍然与期望的源位置紧密对准。
[0058]
照此，当与原始spcap算法相比时，本发明的新颖技术方面可以涉及以下
[0059]-使用附加的虚拟扬声器，
[0060]-即使在散布源的情况下，也将能量和速度向量保持与期望的源位置对准，
[0061]-对于聚焦的源，防止在相邻扬声器上的声道溢出，
[0062]-利用修改的散布规律确保连续性，从而最大程度地允许散布源真正具有360
°
散布。
[0063]
在第二方面，本发明提供了相对于平行六面体房间的内表面处理音频对象的方法。
[0064]
在第三方面，本发明提供了用于相对于球体的内表面处理音频对象的方法。
[0065]
根据另外的方面，本发明提供了用于沿着轴处理音频对象的系统，用于相对于平行六面体房间的内表面处理音频对象的系统，以及用于相对于球体的内表面处理音频对象的系统。
[0066]
根据另外的方面，本发明提供了用于沿着音频轴处理音频对象的方法在用于沿着轴处理音频对象的系统中的使用，用于相对于平行六面体房间的内表面处理音频对象的方法在用于相对于平行六面体房间的内表面处理音频对象的系统中的使用，以及用于相对于球体的内表面处理音频对象的方法在用于相对于球体的内表面处理音频对象的系统中的使用。
[0067]
在具体实施方式中提供了优选实施例及其优点。
附图说明
[0068]
图1图示了根据本发明的方法的第一示例实施例。
[0069]
图2图示了根据本发明的方法的第二示例实施例。
[0070]
图3图示了根据本发明的方法的第三方法示例实施例。
[0071]
图4图示了在窄方向性的情况下针对现有技术spcap算法的紧密度控制的效果。
[0072]
图5图示了在宽方向性的情况下针对现有技术spcap算法的紧密度控制的效果。
[0073]
图6图示了根据本发明的示例修改的伪心形线规律的行为。
[0074]
图7图示了本发明的示例实施例的一系列结果。
具体实施方式
[0075]
本发明涉及用于平移音频对象的处理方法和系统。
[0076]
在本文档中，术语“扬声器”和“换能器”可互换使用。此外，术语“散布”、“方向性”和“紧密度”在一些情况下可以互换使用，但不一定在所有情况下都可互换使用，并且全都涉及相对于音频对象的位置的空间范围，并且范围从0到1。
[0077]
在本文档中，术语“源”是指扮演源的角色的音频对象。
[0078]
在优选实施例中，为了符号方便，与散布相关的宽度d由根据本发明的散布u代替，散布u指示源相对于源的位置的空间范围，并且范围从0到无穷大，并且可以根据以下公式和与散布相关的宽度d相关：u＝d/(1-d)；以及，相反地，d＝u/(1 u)。在其它实施例中，通过使用等效的与散布相关的宽度d来说明本发明，例如在图7的情况下。如本领域技术人员清楚的，u和d二者都只是指相同量的不同符号，并且因此包括使用这两者之一的任何公式的任何陈述也公开了使用这两者中的另一个的补充陈述。
[0079]
本发明提供了多个相关的实施例，并且可以分类为三组实施例：
[0080]
■
一组一维实施例，解决沿着单个轴定位的换能器上的音频平移。这可以涉及用于沿着轴处理音频对象的方法和用于沿着轴处理音频对象的系统。在一个实施例中，所述一组实施例的输出可以立即应用于物理扬声器。在另一个实施例中，本发明可以是诸如双耳渲染(binaural rendering)的计算之类的较大处理环境 (processing context)的一部分，由此输出可以是新处理步骤的输入。
[0081]
■
一组三重1d实施例，最适合于位于有点平行六面体房间的内表面上的换能器上的音频平移。这可以涉及相对于平行六面体房间的内表面处理音频对象的方法和用于相对于平行六面体房间的内表面处理音频对象的系统。在一个实施例中，所述一组实施例的输出可以立即应用于物理扬声器。在另一个实施例中，本发明可以是诸如双耳渲染的计算之类的较大处理环境的一部分，由此输出可以是新处理步骤的输入。
[0082]
■
一组球面3d实施例，解决球面换能器组。这可以涉及用于相对于球体的内表面处理音频对象的方法和用于相对于球体的内表面处理音频对象的系统。在一个实施例中，所述一组实施例的输出可以立即应用于物理扬声器。在另一个实施例中，本发明可以是诸如双耳渲染的计算之类的较大处理环境的一部分，由此输出可以是新处理步骤的输入。
[0083]
在第一方面中，本发明提供了沿着音频轴处理音频对象的方法。这涉及位于单个墙壁上的扬声器上的沿着轴的平移的使用。所述音频对象包括音频对象横坐标和音频对象散布，所述方法用于在沿着所述轴对准的数量为n的多个声音换能器上对音频对象进行空间化恢复；所述多个声音换能器中的每一个包括换能器横坐标；n至少等于2；所述方法包括以下步骤：
[0084]
●
执行第一处理，所述第一处理包括将所述多个声音换能器中的每一个的换能器横坐标和音频对象横坐标映射在圆象限上，为所述多个声音换能器产生n个换能器角度以及为所述音频对象产生一个音频对象角度；
[0085]
●
执行包括以下子步骤的第三处理：
[0086]
○
经由对于所述多个声音换能器中的每一个计算有效换能器数量βi，其中 u是所述音频对象散布，θi是声音换能器i的换能器角度，
[0087]
○
经由u∈[0，∞]，i∈[1..n]为所述多个声音换能器中的每一个计算换能器增益pi，i∈[1..n]，其中θ
is
是所述音频对象与声音换能器i之间的角度，
[0088]
●
执行包括以下子步骤的第四处理：
[0089]
○
通过将所述换能器增益pi除以所述有效换能器数量βi，为数量为n的所述多个声音换能器中的每一个计算初始增益值gi，其中θs是所述音频对象角度；
[0090]
○
通过经由计算总发射功率pe和经由为数量为n的所述多个声音换能器中的每一个计算校正的增益ai来确保功率守恒；
[0091]
●
所述方法还包括执行包括以下子步骤的第二处理：
[0092]
○
从所述多个声音换能器识别最接近所述音频对象的第一声音换能器α和第二声音换能器β，以及
[0093]
○
根据立体声平移规律在所述第一声音换能器α和所述第二声音换能器β上计算增益q
α
和q
β
；
[0094]
●
所述第三处理还包括：
[0095]
○
创建包括等于所述音频对象角度的虚拟换能器角度的虚拟声音换能器，并将所述虚拟换能器角度添加到数量为n的换能器角度的列表，从而创建数量为n 1的换能器角度的扩展列表；
[0096]
○
经由计算与所述虚拟换能器角度对应的虚拟换能器增益p
n 1
，其中θ
n 1,s
是所述音频对象与所述虚拟声音换能器之间的角度，
[0097]
●
所述第四处理还包括：
[0098]
○
通过使用在第二处理中计算出的所述增益q
α
和q
β
来在所述第一声音换能器α和所述第二声音换能器β上重新分发所述虚拟换能器增益p
n 1
，根据其中i＝α或i＝β来为所述第一声音换能器α产生修改的换能器增益p
′
α
以及为所述第二声音换能器β产生修改的换能器增益p
′
β
；
[0099]
其中所述初始增益值gi的所述计算是利用所述第一声音换能器α的所述修改的换能器增益p
′
α
而不是换能器增益p
α
以及所述第二声音换能器β的所述修改的换能器增益p
′
β
而不是换能器增益p
β
进行的。
[0100]
在优选实施例中，这涉及以下算法：
[0101]-从横坐标(abscissa)构建虚拟圆节段，使得最小和最大横坐标值跨越象限(π/2孔径)
[0102]-(1)通过在所述象限上使用对象和扬声器虚拟方位角 (azimuth)，找到两个封闭(enclosing)扬声器α和β
[0103]-(2)使用任何立体声平移规律(例如“正切”平移规律或“sin-cos平移规律”或任何其它规律)计算两个封闭扬声器增益q
α
和q
β
[0104]-(3)在所述象限上虚拟地创建新的扬声器，其位于对象位置处。该层现在包括n 1
个扬声器(n个物理扬声器和一个虚拟扬声器)
[0105]-(4)使用修改的lspcap方法为所述象限中的n个扬声器计算spcap增益：
[0106]
○
(a)使用以下规律计算n 1个(n个真实扬声器，1个虚拟扬声器)原始增益
[0107][0108]
○
其中θis是源和扬声器之间的角度
[0109]-(b)通过使用上面在步骤(2)中计算的立体声增益q
α
和 q
β
，重新分发为虚拟的第(n 1)个扬声器计算的增益
[0110]
其中i＝α或i＝p
[0111]-(c)通过将原始增益除以预先计算的有效扬声器数量来计算“初始增益值”gi[0112][0113]-(d)通过计算总发射功率
[0114][0115]-以及通过划分初始增益来为每个扬声器产生校正的增益来确保功率守恒
[0116]
在第二方面中，本发明提供了相对于平行六面体房间的内表面处理音频对象的方法。这涉及“三重1d处理”，并且涉及使用在位于房间的墙壁(前后左右顶壁)上的扬声器上的平移，其中需要独立的三轴散布值。
[0117]
该方法用于在数量为n的多个声音换能器上对音频对象进行空间化恢复，所述多个声音换能器位于包括天花板、前壁和侧壁的平行六面体房间的内表面上；n至少等于2，所述多个声音换能器根据包括 x轴、y轴和z轴的xyz标准正交坐标系来定位，由此所述z轴朝着所述天花板延伸并与所述天花板正交，所述y轴朝着所述前壁延伸并与所述前壁正交，并且所述x轴朝着所述侧壁延伸并与所述侧壁正交，其中所述音频对象和所述多个声音换能器中的每一个对于横坐标包括相对于所述xyz标准正交坐标系的笛卡尔坐标；其中所述音频对象包括相对于所述xyz标准正交坐标系的散布值，其中所述方法包括以下步骤：
[0118]-在第一步骤中，仅使用所述多个声音换能器的z横坐标以及 z散布值，获得所述多个声音换能器中的每一个的z增益，
[0119]-在第二步骤中，针对换能器布置确定唯一z坐标列表，从而有效地构建z层，
[0120]-在第三步骤中，对于所述z层中的每一个，仅使用所述z层的声音换能器的y横坐标和y散布值，并且对于所述多个声音换能器中的每一个，获得y增益，
[0121]-在第四步骤中，对于每个所述z层，确定唯一y坐标列表，从而有效地构建y行，
[0122]-在第五步骤中，对于每个z层并且对于每个y行，仅使用该行的声音换能器的x横坐标和x散布值，获得所述多个声音换能器中的每一个的x增益，
[0123]-在第六步骤中，使所述x增益、y增益和z增益逐个地相乘，并应用2-范数归一化以获得整个换能器布置的最终换能器增益，
[0124]-利用如上述沿着音频轴处理音频对象的方法所述的方法沿着 z轴执行第一步骤中的所述z增益的所述确定，
[0125]-利用如上述沿着音频轴处理音频对象的方法所述的方法沿着 y轴执行第三步骤中的所述y增益的所述确定，
[0126]-利用如上述沿着音频轴处理音频对象的方法所述的方法沿着x轴执行第五步骤中的所述x增益的所述确定。
[0127]
优选的输入是：
[0128]-对象坐标(笛卡尔坐标)
[0129]-沿着x轴、y轴和z轴的对象三维散布值(范围从0到 无穷大)
[0130]-扬声器布置：
[0131]
○
每个扬声器的笛卡尔坐标被归一化(左-右和前-后维度的范围从-1到1，对于底-顶，z＝0为耳朵水平(ear-level)， z＝1为天花板)
[0132]
在优选实施例中，算法涉及以下：
[0133]
全局算法：
[0134]-(可选：应用扬声器卡扣(snap))
[0135]-仅使用扬声器的z横坐标和z散布值来沿着z轴运行1d算法：获得所有扬声器的z增益
[0136]-针对扬声器布置确定唯一z坐标列表，从而有效地构建z层
[0137]-对于每个z层，仅使用该层的扬声器的y横坐标和y散布值来沿着y轴运行1d算法：获得所有扬声器的y增益
[0138]-对于每个z层，确定唯一y坐标列表，从而有效地构建y行
[0139]-对于每个z层，并且对于每个y行，仅使用该行的扬声器的 x横坐标和x散布值来沿着x轴运行1d算法：获得所有扬声器的x增益
[0140]-使x增益、y增益和z增益逐个地相乘，并应用2-范数归一化以获得最终的扬声器增益
[0141]
在第三方面中，本发明提供了用于相对于球体的内表面处理音频对象的方法。这涉及在位于球体上的扬声器上的平移的使用。
[0142]
该方法用于在位于球体的内表面上的数量为n的多个换能器上对音频对象进行空间化恢复，n至少等于2；所述音频对象包括音频对象位置和音频对象散布；所述方法包括以下步骤：
[0143]
●
执行包括以下子步骤的第一处理：
[0144]
○
基于所述多个换能器、音频对象位置和音频对象散布预先计算有效换能器数量βi，以及
[0145]
○
通过1和βi的原始值之间的仿射函数来修改βi以逐渐考虑换能器密度，从而产生
修改的有效换能器数量；
[0146]
●
对于给定的对象坐标执行第二处理，包括
[0147]
○
第一步骤：为网格中每个刻面计算基于向量的幅度平移 (vbap)增益，并找到每个换能器增益qi都为正的封闭刻面，并丢弃其它增益，从而产生三个vbap增益，其中换能器位于所述网格的顶点上，
[0148]
○
第二步骤：在换能器布置中创建虚拟换能器，所述虚拟换能器位于音频对象位置处，使得修改的布置包括n 1个换能器，
[0149]
○
第三步骤：为n 1个换能器计算原始扬声器放置校正幅度平移(spcap)增益，
[0150]
○
第四步骤：通过使用上面在上述第一步骤中计算出的三个 vbap增益qi和原始spcap增益来重新分发为虚拟的第 n 1个换能器计算的增益，从而产生n个修改的spcap增益，
[0151]
○
第五步骤：通过将原始spcap增益pi除以由上述第一处理预先计算的修改的有效换能器数量来计算初始增益值gi，其中θ
is
是音频对象与换能器i 之间的角度，以及θs是音频对象角度，以及
[0152]
○
第六步骤：通过经由计算总发射功率pe以及通过划分初始增益值gi来为每个换能器产生校正的增益ai，来确保功率守恒，
[0153]
●
所述有效换能器数量的计算使用以下公式：
[0154][0155]
其中u是音频对象散布，θi是换能器i的换能器角度，
[0156]
●
第二处理的第三步骤使用以下公式：
[0157][0158]
其中θ
is
是音频对象与换能器i之间的角度；
[0159]
●
第二处理的第四步骤使用以下公式：
[0160]
i使得换能器i属于所述封闭刻面。
[0161]
优选的输入是：
[0162]-对象坐标(球坐标)
[0163]-对象散布值u(范围从0到 无穷大)
[0164]-扬声器布置：
[0165]
○
每个扬声器的球坐标
[0166]
○
球面三角形网格，其中扬声器位于顶点处。
[0167]
在优选实施例中，算法涉及以下：
[0168]
离线部分：
[0169]-针对扬声器布置预先计算有效扬声器数量：对于只有n个真实扬声器，计算所谓的“有效扬声器数量”βi：
[0170][0171]
○
那个值允许通过在彼此接近的扬声器上放较小权重(即，较小增益)来考虑扬声器空间密度。数量是使用整组扬声器(包括计算中考虑的扬声器)针对每个扬声器来计算的。可以注意到βi至少等于1。如果需要，那么可以通过在1和这个值的原始值之间的仿射函数(affine function)来进一步修改这个值，以逐渐考虑(或不考虑)扬声器密度。
[0172]
实时部分，对于给定的对象坐标：
[0173]-(b)：为网格中每个刻面(facet)计算vbap增益，并找到所有扬声器增益为正的封闭刻面。只保留那个刻面的三个增益，丢弃其余的(对于详细的vbap方法，参见pulkki， 2001年)
[0174]-(c)：在扬声器布置中虚拟地创建新的扬声器，其位于对象位置处。该布置现在包括n 1个扬声器(n个物理扬声器和一个虚拟扬声器)
[0175]-(d)使用修改的lspcap方法为n个扬声器计算spcap增益：
[0176]
○
(1)使用以下规律计算n 1个(n个真实扬声器，1个虚拟扬声器)原始增益
[0177][0178]
其中θ
is
是源和扬声器之间的角度
[0179]
○
(2)通过使用上面在步骤(a)中计算的三个vbap增益 qi来重新分发为虚拟的第(n 1)个扬声器计算的增益i使得扬声器i属于有源(active)vbap刻面
[0180]
○
(4)通过将原始增益除以有效扬声器数量来计算“初始增益值”gi[0181][0182]
○
(5)通过计算总发射功率以及通过划分初始增益来为每个扬声器产生校正的增益来确保功率守恒
[0183]
在另外的方面中，本发明涉及以下考虑。
[0184]
典型的平移系统在给定位置元数据的情况下计算n个扬声器增益的集合，并将所述n个增益应用于输入音频流。
[0185]
例如，基于向量的幅度平移允许针对位于三角形3d网格的顶点上的扬声器计算所述增益。进一步的发展允许vbap用在包括四边形面(wo2013181272a2)或任意n边形
(wo2014160576)的布置上。
[0186]
高保真度立体声响复制也被广泛用于音频平移 (wo2014001478)。高保真度立体声响复制平移中的最重要的缺点是扬声器布置必须在3d空间中尽可能规则，从而强制使用规则布局，诸如扬声器位于柏拉图立体或者3d球体的其它最大程度地规则的棋盘形布置的顶点处。这种约束限制高保真度立体声响复制平移用于特殊情况。
[0187]
为了克服这些问题，使用vbap和高保真度立体声响复制二者的混合方法已经在wo2011117399a1中公开，并且在wo2013143934 中进一步完善。
[0188]
还已经提出了能够使用完全任意空间布局的其它方法，例如基于距离的音频平移(dbap)(“distance-based amplitude panning”， lossius等，icmc 2009)或扬声器放置校正幅度平移(spcap) (“a novel multichannel panning method for standard and arbitraryloudspeaker configurations”，kyriakakis等，aes 2004)。这些方法只考虑输入源的期望位置和扬声器的位置之间的距离，例如在 dbap的情况下距离是欧几里德距离，或者在spcap的情况下距离是源和扬声器之间的角度。
[0189]
在“evaluation of distance based amplitude panning for spatialaudio”中，与三阶高保真度立体声响复制相比，dbap显示出令人满意的结果，尤其是当收听者关于扬声器布置是偏离中心的时，并且 dbap还显示出在大多数配置中表现得非常类似于vbap。
[0190]
因此，这些基于距离的方法的重要缺点是缺乏对输入源的空间散布的控制。
[0191]
通过以下非限制性示例进一步描述本发明，这些示例进一步说明本发明，并不意图也不应当被解释为限制本发明的范围。
[0192]
示例
[0193]
示例1：根据本发明的方法的第一示例实施例
[0194]
图1图示了本发明方法的示例实施例，其中音频对象和数量为n 的换能器都基本上存在于单个轴上。n个换能器(或等效地，扬声器) 的位置由它们沿着所述单个轴的横坐标表达。音频对象的位置也可以被表达为横坐标。此外，音频对象包括值为[0， ∞]的散布u。
[0195]
特别地，图1示出了如在本发明的实施例中实现的方法，确保沿着轴在n个扬声器上平移源，源的横坐标(151)和扬声器的横坐标 (152)是已知的，其中示出了以下步骤：(110)将n个横坐标映射到象限，(111)确定两个最接近的扬声器(113、114)，(112)使用立体声平移规律为所述最接近的扬声器计算两个立体声平移增益 (115、116)，(120)在源的位置处添加虚拟换能器，(121)使用本发明中公开的一种方法计算n 1个换能器增益(103)，(130)使用立体声平移增益(115、116)将虚拟换能器的第n 1个增益重新分发到两个最接近的扬声器(113、114)产生n个增益(104)，以及 (131)功率归一化所述n个增益(104)以产生最终的平移增益 (105)。
[0196]
示例2：根据本发明的方法的第二示例实施例
[0197]
图2图示了本发明的方法的示例实施例，其中数量为n的换能器定位在基本上平行六面体的房间上。
[0198]
特别地，图2示出了如在本发明的实施例中实现的方法，其中扬声器以给定的笛卡尔坐标(200)定位在墙壁上，其中示出了以下步骤：(201)沿着z轴计算z增益(207)，(202)构建z层，(203) 针对每个z层沿着y轴计算y增益(208)，(204)针对每个z层构建y行，(205)针
对每个y行沿着x轴计算x增益(209)，以及(206)使z增益(207)、y增益(208)和x增益(209)逐个地相乘并且对结果进行功率归一化以产生最终的扬声器增益(210)。
[0199]
示例3：根据本发明的方法的第三示例实施例
[0200]
图3图示了本发明的方法的示例性实施例，其中数量为n的换能器定位在球体的内表面上。
[0201]
特别地，图3示出了如在本发明的实施例中实现的方法，确保在位于球面上的n个扬声器上平移源，其中源的球坐标(311)和扬声器的球坐标(312)是已知，其中示出了以下步骤：(301)计算n修改的有效扬声器数量(313)，(302)针对每个刻面计算vbap增益并确定所有增益为正的刻面从而保留三个封闭刻面增益(314)，(303)在源位置(311)处添加虚拟扬声器，(304)使用第三步骤 (203)中所述的方法为n 1个扬声器计算修改的spcap增益 (315)，(305)使用封闭扬声器增益(313)在封闭刻面上重新分发第n 1个增益以产生n个增益(316)，(306)计算初始增益值 (317)，以及(307)对n个增益进行功率归一化为产生n个最终增益(318)。
[0202]
示例4：本发明的示例实施例与现有技术方法的比较
[0203]
图4图示了在窄方向性的情况下针对现有技术spcap算法的紧密度控制的效果。特别地，在原始spcap算法的上下文中，图4对于典型的、不规则的四扬声器布局(
±
30
°
，
±
110
°
)示出了扬声器增益(401、402、403、404)以及与所寻求的平移角度(407)相比的声学速度(405)和能量(406)向量的角度，对于可变紧密度控制 (其中d范围在0和1之间)具有与散布相关的宽度的值d＝0.75。如可以看出的，这种窄的紧密度导致扬声器吸引效果，其中能量向量和速度向量在角度之间跳跃。
[0204]
图5图示了在宽方向性的情况下针对现有技术spcap算法的紧密度控制的效果。特别地，在原始spcap算法的上下文中，图5对于典型的、不规则的四扬声器布局(
±
30
°
，
±
110
°
)示出了扬声器增益(501、502、503、504)以及与所寻求的平移角度(507)相比的声学速度(505)和能量(506)向量的角度，对于可变紧密度控制 (其中d范围在0和1之间)具有与散布相关的宽度的值d＝0.50。如可以看出的，这种宽的紧密度导致扬声器之间的信号溢出。
[0205]
图6图示了根据本发明的示例修改的伪心形线规律的行为。特别地，图6呈现了修改的伪心形线规律(602)沿着从0到360
°
变化的方位角角度(601)的行为，如在本发明的一些实施例中实现的。
[0206]
图7图示了本发明的示例实施例的一系列结果。特别地，图7示出了使用本发明的原理在七个扬声器(n＝7)的集合上平移源的结果，这七个扬声器定位在相应的方位角0
°
、
±
45
°
、
±
90
°
和
±
135
°
处。因此，假设扬声器定位在基本上球形体积的内表面上，由此它们中的每一个定位在球体表面上定义的单个水平线部分上。使用与散布相关的宽度值d等于1.0、0.8、0.6、0.4、0.2和0.0的结果分别从左到右和从上到下示出。因此，使用与散布相关的宽度d代替散布u仅仅为了便于与现有技术方法进行比较；对应的散布值u通过u＝d/(1-d)获得。对于每个散布值，顶部图表示出所有扬声器的平移增益，以及扬声器位置 (带圆圈)，并且底部图表示出理论平移角度(点线)以及速度(实线)和能量(虚线)向量角度。可以看出，对于聚焦的源，可以紧密检索标准vbap平移增益，并且当源散布增加时位置精度适度劣化。
[0207]
示例5：涉及用于监视和重放的基于对象的音频渲染的示例实施例
[0208]
这个示例提供了涉及基于对象的音频的渲染的本发明的示例实施例。基于对象的音频的渲染和其它特征(诸如用于双耳音频的头部跟踪)需要使用高质量的平移/渲染算法。
[0209]
在这个示例中，lspcap用于执行这些任务。
[0210]
高级特征
[0211]
lspcap是一种轻量级、可伸缩的平移算法，可用于针对任何 2d/3d扬声器布置的两种版本中：
[0212]
●
不规则的以房间为中心的布局，诸如auro-3d，具有卡扣和区控制
[0213]
●
规则的以收听者为中心的布局，尤其是适于高保真度立体声响复制解码的那些
[0214]
lspcap还允许对音频对象聚焦/散布进行分离的水平/垂直控制。 lspcap确保比成对(vbap或hoa平移)更好的方向精度(能量和幅度向量)，甚至对于宽(散布)音频对象也是如此。
[0215]
底层技术
[0216]
lspcap通过将修改的扬声器放置校正幅度平移(spcap)算法与一般化的基于向量的幅度平移(vbap)以及具体的能量向量最大化相结合来工作。
[0217]
增强的lspcap算法的使用
[0218]
开发了算法的两种模式：全3d的以收听者为中心的模式和分层的3d的以房间为中心的模式。
[0219]
以收听者为中心的模式
[0220]
这个版本接受对象的球坐标或极坐标，并使用球面扬声器布置，其有利地应当尽可能规则。实现以下布置：
[0221]
1.表1-lspcap的以收听者为中心的模式中的扬声器布置
[0222][0223]
对于每种布置，示出了如果hoa渲染器与这种布置一起使用的话可实现的hoa阶。接下来，示出了由lspcap实现的等效hoa 阶，它在整个球体和频率范围内合并了以下度量：itd精度、ild精度。
[0224]
方向渲染的精度随着扬声器的数量而增加；当然，计算复杂度也增加，并且这在使用lspcap进行双耳渲染时尤为重要。
[0225]
这个版本将主要用作对象的平移和双耳渲染(例如auro
‑ꢀ
headphones)之间的中间渲染，因为在大多数现实世界中，球面的规则的扬声器布局是不实际的。与对于给定布局可实现的hoa渲染相比，它在itd和ild方面的精度更好。
[0226]
以房间为中心的模式
[0227]
以房间为中心的模式接受笛卡尔坐标，尤其是针对将对象平移到房间中的真实扬声器设置。
[0228]
在内部，它利用多个spcap的平面(2d)版本的层来构建。
[0229]
每层仅接受对象的方位角角度，并且还用扬声器的方位角角度描述扬声器。这些方位角角度是从对象和扬声器的x-y坐标导出的。
[0230]
z坐标用于在连续的层之间平移。顶层具有特殊行为：在x-z平面和y-z平面上运行双spcap-2d算法(然后将顶层扬声器投影在这两个平面上)，并将结果合并以形成顶层增益。
[0231]
参数
[0232]
以收听者为中心的版本
[0233]
扬声器布局设置
[0234]
2.表2-lspcap以收听者为中心的模式：扬声器设置
[0235][0236]
可以借助于离散扬声器密度参数来定义以收听者为中心的扬声器设置，该参数的范围从1到8，其控制规则球面布置以及布局中的扬声器的量(也参见本文档的其它地方)。
[0237]
源参数
[0238]
3.表3-lspcap以收听者为中心的模式：源参数
[0239][0240]
以房间为中心的模式
[0241]
扬声器布局设置
[0242]
以房间为中心的lspcap算法仅支持位于虚拟房间的墙壁上的扬声器。因此，对于每个扬声器，x、y、z参数中的至少一个必须具有1.0f的绝对值。
[0243]
4.表4-lspcap以房间为中心的模式：扬声器设置
[0244][0245]
源参数
[0246]
5.表5-lspcap以房间为中心的模式：源参数
[0247][0248]
区控制参数允许控制被平移的源将使用哪些扬声器(或扬声器区)。该参数的确切含义取决于实际的扬声器布局。在下表中，有源扬声器针对7.1平面布局被给出，相同的原理适用于包括auro-3d布局的其它布局。可以根据需要在sdk中实现新的区。这可以与正还处于 45/-45的方位角角度处的tpfl/tpfr有关。
[0249]
2d版本算法
[0250]
用法：
[0251]-在位于房间的墙壁(前后左右顶壁)上的扬声器上的平移
[0252]
输入：
[0253]-对象坐标(笛卡尔坐标)
[0254]-对象水平散布值u(范围从0到 无穷大)
[0255]-对象垂直散布值v(范围从0到 无穷大)
[0256]-扬声器布置：
[0257]
○
每个扬声器的笛卡尔坐标被归一化(左-右和前-后维度的范围从-1到1，对于底-顶，z＝0为耳朵水平，z＝1为天花板) 算法：
[0258]
离线部分：
[0259]-将所有扬声器坐标(x,y,z)变换成柱坐标(azimuth,z)
[0260]-水平层的确定：具有相同z坐标的扬声器属于同一层实时部分：
[0261]-(a)通过使用azimuth＝atan2(x,y)将对象坐标变换成柱坐标(azimuth,z)
[0262]
○
如果没有方位角可以被计算(原始对象坐标为0,0)，那么指派任意的方位角并将对象散布值设置为0(最大散布)
[0263]-(b)沿着z轴将对象投影在每个层上(即，移除z坐标)。
[0264]-(c)对于每一层，保存顶/天花板的一个：
[0265]
○
(1)通过使用对象和层的扬声器方位角找到两个封闭扬声器α和β：
[0266]
○
(2)使用任何立体声平移规律(例如“正切”平移规律，或“sin-cos平移规律”或任何其它规律)计算两个封闭扬声器增益q
α
和q
β
。
[0267]
○
(3)在层中虚拟地创建新的扬声器，其位于对象位置处。该层现在包括n 1个扬声器(n个物理扬声器和一个虚拟扬声器)
[0268]
○
(4)使用修改的lspcap方法为当前层中n个扬声器计算spcap增益：
[0269]
■
(a)使用以下规律计算n 1个(n个真实扬声器，1 个虚拟扬声器)原始增益
[0270][0271]
其中θ
is
是源和扬声器之间的角度
[0272]
■
(b)对于只有n个真实扬声器，计算所谓的“有效扬声器数量”βi[0273][0274]
那个值允许通过在彼此接近的扬声器上放较小权重 (即，较小增益)来考虑扬声器空间密度。数量是使用整组扬声器(包括计算中考虑的扬声器)针对每个扬声器来计算的。可以注意到βi至少等于1。如果需要，那么可以通过在1和这个值的原始值之间的仿射函数来进一步修改这个值，以逐渐考虑(或不考虑)扬声器密度。
[0275]
■
(c)通过使用上面在步骤(2)中计算出的立体声增益q
α
和q
β
，重新分发为虚拟的第(n 1)个扬声器计算的增益
[0276]
其中i＝α或i＝β
[0277]
■
(d)通过将原始增益除以有效扬声器数量来计算“初始增益值”gi[0278][0279]
■
(e)通过计算总发射功率以及通过划分初始增益来为每个扬声器产生校正的增益来确保功率守恒
[0280]-(d)对于顶(z＝1)层：
[0281]
○
(1)将m个顶层扬声器坐标投影到x轴上(仅保留坐标xi其中i∈[1..m])
[0282]
○
(2)将源坐标投影到x轴上(仅保留xs)
[0283]
○
(3)使源坐标饱和，使得它与m个扬声器x坐标处于相同的范围内
[0284]
xs＝max(xs，min(xi))
[0285]
xs＝min(xs，max(xi))
[0286]
○
(4)构建m个角度的数组(array)
[0287][0288]
○
(5)构建源的角度
[0289][0290]
○
(6)使用(c4)中的方法计算m个spcap增益a
ix
[0291]
○
(7)重做步骤d1到d6但使用y轴而不是x轴，产生 m个spcap增益a
iy
[0292]
○
(8)计算联合顶层增益：ai＝a
ix
，a
iy
[0293]
○
(9)计算总发射功率
[0294]
○
(10)将联合顶层增益除以总功率，以获得归一化的顶层蹭益
[0295]-(e)通过将每个层视为一个扬声器，并使用以下步骤来为 k个层中的每一层计算层增益(类似于我们在顶层中进行的操作，随后是来自(c)的spcap算法)
[0296]
○
(1)构建角度的数组
[0297]
○
(2)构建源的角度
[0298][0299]
○
(3)使用来自步骤(e1)和(e2)的对象和层的角度找到封闭层α和β
[0300]
○
(4)使用任何立体声平移规律(例如“正切”平移规律或“sin-cos平移规律”或任何其它规律)计算两个封闭层增益q
α
和q
β
[0301]
○
(5)虚拟地创建新的扬声器，其位于来自e2的对象角度处
[0302]
○
(6)使用来自(e1)和(e2)的k 1个角、用产生k 个层增益的垂直散布v代替水平散布u，来应用从c4a到 c4e的步骤
[0303]
○
(7)对于每一层，将来自(c)的扬声器增益乘以来自 (e6)的层增益
[0304]
其它方面和潜在的扩展涉及区控制和扬声器组定义。
[0305]
3d版本
[0306]
用法：
[0307]-在位于球体上的扬声器上的平移
[0308]
输入：
[0309]-对象坐标(球坐标)
[0310]-对象散布值u(范围从0到 无穷大)
[0311]-扬声器布置：
[0312]
○
每个扬声器的球坐标
[0313]
○
球面三角形网格，其中扬声器位于顶点处。
[0314]
算法：
[0315]-(a)：为网格中每个刻面计算vbap增益，并找到所有扬声器增益为正的封闭刻面。只保留那个刻面的三个增益，丢弃其余的(详细的vbap方法参见pulkki，2001年)
[0316]-(b)：在扬声器布置中虚拟地创建新的扬声器，其位于对象位置处。该布置现在包
括n 1个扬声器(n个物理扬声器和一个虚拟扬声器)
[0317]-(c)使用修改的lspcap方法为n个扬声器计算spcap增益：
[0318]
○
(1)使用以下规律计算n 1个(n个真实扬声器，1个虚拟扬声器)原始增益
[0319][0320]
其中θ
is
是源和扬声器之间的角度
[0321]
○
(2)对于只有n个真实扬声器，计算所谓的“有效扬声器数量”βi[0322][0323]
那个值允许通过在彼此接近的扬声器上放较小权重(即，较小增益)来考虑扬声器空间密度。数量是使用整组扬声器(包括计算中考虑的扬声器)针对每个扬声器来计算的。可以注意到βi至少等于1。如果需要，那么可以通过在1 和这个值的原始值之间的仿射函数来进一步修改这个值，以逐渐考虑(或不考虑)扬声器密度。
[0324]
○
(3)通过使用上面在步骤(a)中计算出的三个vbap增益qi来重新分发为虚拟的第(n 1)个扬声器计算的增益
[0325][0326]
i使得扬声器i属于有源vbap刻面
[0327]
○
(4)通过将原始增益除以有效扬声器数量来计算“初始增益值”gi[0328][0329]
○
(5)通过计算总发射功率以及通过划分初始增益来为每个扬声器产生校正的增益来确保功率守恒。