一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

空间参数信令的制作方法

2021-06-15 22:01:00 来源:中国专利 TAG:空间 装置 信令 用于 参数
空间参数信令的制作方法

本申请涉及用于空间参数信令的装置和方法,但并不排他地涉及用于空间音频编码器和解码器内以及之间的空间参数信令的装置和方法。



背景技术:

参数空间音频处理是音频信号处理的一个领域,其中使用一组参数来描述声音的空间方面。例如,在从麦克风阵列进行参数化空间音频捕获时,从麦克风阵列信号估计一组参数是一种典型且有效的选择,该组参数诸如是频带中声音的方向、以及频带中被捕获声音的定向与非定向部分的比率。众所周知,这些参数很好地描述了在麦克风阵列的位置处的被捕获声音的感知空间特性。这些参数可以相应地在空间声音的合成中使用,以用于双耳式耳机、扬声器、或诸如全景环绕声(ambisonics)之类的其他格式。



技术实现要素:

根据第一方面,提供了一种装置,包括用于执行以下操作的部件:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

用于针对与至少一个音频信号相关联的至少两个频带中的每个频带而分别获得至少一个参数的部件还可以用于针对至少两个频带中的每个频带分别获得能量比和能量,并且其中用于基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的部件还可以用于:基于针对至少两个频带中的每个频带的能量比和能量,针对至少两个频带中的每个频带确定能量权重因子,其中,该能量权重因子是针对至少两个频带中的每个频带的至少一个其他相应的参数;基于平均能量,确定权重限制因子;将针对至少两个频带中的每个频带的能量权重因子与权重限制因子进行比较;以及选择其中能量权重因子大于权重限制因子的最高频带。

能量可以是归一化能量。

用于基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的部件还可以用于选择至少两个频带中的最高频带。

用于针对与至少一个音频信号相关联的至少两个频带中的每个频带而分别获得至少一个参数的部件还可以用于获得以下中的至少一个:方向参数;距离参数;能量参数;以及能量比参数。

用于基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的部件还可以用于:保存针对至少两个频带之一的至少一个参数;以及丢弃针对至少两个频带的至少一个参数中的任何其他参数,其中,用于生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出的部件还可以用于生成输出,该输出包括所保存的针对至少两个频带之一的至少一个参数并且不包括所丢弃的针对至少两个频带的至少一个参数中的其他参数。

用于基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的部件还可以用于:保存针对至少两个频带之一的至少一个参数;以及确定针对至少两个频带的至少一个参数中的任何其他参数与针对至少两个频带之一的至少一个参数之间的差异,其中,用于生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出的部件还可以用于生成输出,该输出包括针对至少两个频带的至少一个参数中的任何其他参数与针对至少两个频带之一的至少一个参数之间的差异。

所述部件还可以用于基于至少一个音频信号来生成至少一个传输信号,并且其中用于生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出的部件还可以用于基于至少一个参数和至少一个传输信号的组合来生成用于存储/发送的数据流。

用于基于至少一个参数和至少一个传输信号的组合来生成用于存储/发送的数据流的部件还可以用于:对至少一个传输信号进行编码;对与至少两个频带中的被选择频带相关联的至少一个参数进行编码;以及将被编码的传输信号与被编码的与至少两个频带中的被选择频带相关联的至少一个参数进行组合。

用于基于至少一个音频信号来生成至少一个传输信号的部件还可以用于以下中的至少一个:对至少一个音频信号进行下混合;当至少一个音频信号包括两个或更多个音频信号时,从至少一个音频信号中选择至少一个音频信号;当至少一个音频信号包括一阶全景环绕声音(ambisonic)频信号时,生成被定向到不同方向的定向信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向到不同方向的心形信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向在相反方向的心形信号;以及当至少一个音频信号包括至少一个传输音频信号时,传递至少一个传输音频信号。

根据第二方面,提供了一种装置,包括用于执行以下操作的部件:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

用于获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号的部件还可以用于获得以下中的至少一个:方向参数;距离参数;能量参数;以及能量比参数。

用于基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数的部件还可以用于复制针对至少两个频带之一的至少一个参数,作为至少两个频带的至少一个其他参数。

至少一个信号还可以包括与至少两个频带的至少一个其他参数与针对至少两个频带之一的至少一个参数之间的差异相关联的至少一个参数,其中,用于基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数的部件还可以用于基于针对至少两个频带之一的至少一个参数和与至少两个频带的至少一个其他参数与针对至少两个频带之一的至少一个参数之间的差异相关联的至少一个参数的组合,复制针对至少两个频带中的至少一个其他频带的至少一个参数。

根据第三方面,提供了一种方法,包括:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

针对与至少一个音频信号相关联的至少两个频带中的每个频带而分别获得至少一个参数可以包括针对至少两个频带中的每个频带分别获得能量比和能量,并且其中基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带可以包括:基于针对至少两个频带中的每个频带的能量比和能量,针对至少两个频带中的每个频带确定能量权重因子,其中,该能量权重因子是针对至少两个频带中的每个频带的至少一个其他相应的参数;基于平均能量,确定权重限制因子;将针对至少两个频带中的每个频带的能量权重因子与权重限制因子进行比较;以及选择其中能量权重因子大于权重限制因子的最高频带。

能量可以是归一化能量。

基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带可以包括选择至少两个频带中的最高频带。

针对与至少一个音频信号相关联的至少两个频带中的每个频带而分别获得至少一个参数可以包括获得以下中的至少一个:方向参数;距离参数;能量参数;以及能量比参数。

基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带可以包括:保存针对至少两个频带之一的至少一个参数;以及丢弃针对至少两个频带的至少一个参数中的任何其他参数,其中,生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出还可以包括生成输出,该输出包括所保存的针对至少两个频带之一的至少一个参数并且不包括所丢弃的针对至少两个频带的至少一个参数中的其他参数。

基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带可以包括:保存针对至少两个频带之一的至少一个参数;以及确定针对至少两个频带的至少一个参数中的任何其他参数与针对至少两个频带之一的至少一个参数之间的差异,其中,生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出还可以包括生成输出,该输出包括针对至少两个频带的至少一个参数中的任何其他参数与针对至少两个频带之一的至少一个参数之间的差异。

该方法还可以包括基于至少一个音频信号来生成至少一个传输信号,并且其中生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出还可以包括基于至少一个参数和至少一个传输信号的组合来生成用于存储/发送的数据流。

基于至少一个参数和至少一个传输信号的组合来生成用于存储/发送的数据流还可以包括:对至少一个传输信号进行编码;对与至少两个频带中的被选择频带相关联的至少一个参数进行编码;以及将被编码的传输信号与被编码的与至少两个频带中的被选择频带相关联的至少一个参数进行组合。

基于至少一个音频信号来生成至少一个传输信号还可以包括以下中的至少一个:对至少一个音频信号进行下混合;当至少一个音频信号包括两个或更多个音频信号时,从至少一个音频信号中选择至少一个音频信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向到不同方向的定向信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向到不同方向的心形信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向在相反方向的心形信号;以及当至少一个音频信号包括至少一个传输音频信号时,传递至少一个传输音频信号。

根据第四方面,提供了一种方法,包括:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号还可以包括获得以下中的至少一个:方向参数;距离参数;能量参数;以及能量比参数。

基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数可以包括复制针对至少两个频带之一的至少一个参数,作为至少两个频带的至少一个其他参数。

至少一个信号还可以包括与至少两个频带的至少一个其他参数与针对至少两个频带之一的至少一个参数之间的差异相关联的至少一个参数,其中,基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数还可以包括基于针对至少两个频带之一的至少一个参数和与至少两个频带的至少一个其他参数与针对至少两个频带之一的至少一个参数之间的差异相关联的至少一个参数的组合,复制针对至少两个频带中的至少一个其他频带的至少一个参数。

根据第五方面,提供了一种装置,包括至少一个处理器和包括计算机程序代码的至少一个存储器,该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

被使得针对与至少一个音频信号相关联的至少两个频带中的每个频带而分别获得至少一个参数的装置还可以被使得针对至少两个频带中的每个频带分别获得能量比和能量,并且其中被使得基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的装置还可以被使得:基于针对至少两个频带中的每个频带的能量比和能量,针对至少两个频带中的每个频带确定能量权重因子,其中,该能量权重因子是针对至少两个频带中的每个频带的至少一个其他相应的参数;基于平均能量,确定权重限制因子;将针对至少两个频带中的每个频带的能量权重因子与权重限制因子进行比较;以及选择其中能量权重因子大于权重限制因子的最高频带。

能量可以是归一化能量。

被使得基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的装置还可以被使得选择至少两个频带中的最高频带。

被使得针对与至少一个音频信号相关联的至少两个频带中的每个频带而分别获得至少一个参数的装置还可以被使得获得以下中的至少一个:方向参数;距离参数;能量参数;以及能量比参数。

被使得基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的装置还可以被使得:保存针对至少两个频带之一的至少一个参数;以及丢弃针对至少两个频带的至少一个参数中的任何其他参数,其中,被使得生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出的装置还可以被使得生成输出,该输出包括所保存的针对至少两个频带之一的至少一个参数并且不包括所丢弃的针对至少两个频带的至少一个参数中的其他参数。

被使得基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数来选择至少两个频带中的频带的装置还可以被使得:保存针对至少两个频带之一的至少一个参数;以及确定针对至少两个频带的至少一个参数中的任何其他参数与针对至少两个频带之一的至少一个参数之间的差异,其中,被使得生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出的装置还可以被使得生成输出,该输出包括针对至少两个频带的至少一个参数中的任何其他参数与针对至少两个频带之一的至少一个参数之间的差异。

该装置还可以被使得基于至少一个音频信号来生成至少一个传输信号,并且其中被使得生成包括与至少两个频带中的被选择频带相关联的至少一个参数的选择的输出的装置还可以被使得基于至少一个参数和至少一个传输信号的组合来生成用于存储/发送的数据流。

被使得基于至少一个参数和至少一个传输信号的组合来生成用于存储/发送的数据流的装置还可以被使得:对至少一个传输信号进行编码;对与至少两个频带中的被选择频带相关联的至少一个参数进行编码;以及将被编码的传输信号与被编码的与至少两个频带中的被选择频带相关联的至少一个参数进行组合。

被使得基于至少一个音频信号来生成至少一个传输信号的装置还可以被使得执行以下中的至少一个:对至少一个音频信号进行下混合;当至少一个音频信号包括两个或更多个音频信号时,从至少一个音频信号中选择至少一个音频信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向到不同方向的定向信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向到不同方向的心形信号;当至少一个音频信号包括一阶全景环绕声音频信号时,生成被定向在相反方向的心形信号;以及当至少一个音频信号包括至少一个传输音频信号时,传递至少一个传输音频信号。

根据第六方面,提供了一种装置,包括至少一个处理器和包括计算机程序代码的至少一个存储器,该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

被使得获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号的装置还可以被使得获得以下中的至少一个:方向参数;距离参数;能量参数;以及能量比参数。

被使得基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数的装置还可以被使得复制针对至少两个频带之一的至少一个参数,作为至少两个频带的至少一个其他参数。

至少一个信号还可以包括与至少两个频带的至少一个其他参数与针对至少两个频带之一的至少一个参数之间的差异相关联的至少一个参数,其中,被使得基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数的装置还可以被使得基于针对至少两个频带之一的至少一个参数和与至少两个频带的至少一个其他参数与针对至少两个频带之一的至少一个参数之间的差异相关联的至少一个参数的组合,复制针对至少两个频带中的至少一个其他频带的至少一个参数。

根据第七方面,提供了一种包括指令的计算机程序[或包括程序指令的计算机可读介质],这些指令用于使得装置至少执行以下操作:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

根据第八方面,提供了一种包括指令的计算机程序[或包括程序指令的计算机可读介质],这些指令用于使得装置至少执行以下操作:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

根据第九方面,提供了一种包括程序指令的非暂时性计算机可读介质,这些程序指令用于使得装置至少执行以下操作:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

根据第十方面,提供了一种包括程序指令的非暂时性计算机可读介质,这些程序指令用于使得装置至少执行以下操作:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

根据第十一方面,提供了一种包括程序指令的计算机可读介质,这些程序指令用于使得装置至少执行以下操作:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

根据第十二方面,提供了一种包括程序指令的计算机可读介质,这些程序指令用于使得装置至少执行以下操作:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

根据第十三方面,提供了一种包括程序指令的计算机可读介质,这些程序指令用于使得装置至少执行以下操作:获得至少一个音频信号;针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;基于比较针对至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

根据第十四方面,提供了一种包括程序指令的计算机可读介质,这些程序指令用于使得装置至少执行以下操作:获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

根据第十五方面,提供了一种装置,包括:获得电路,被配置为获得至少一个音频信号;获得电路,被配置为针对与至少一个音频信号相关联的至少两个频带中的每个频带,分别获得至少一个参数;选择电路,被配置为于比较至少两个频带中的每个频带的至少一个其他相应的参数,选择至少两个频带中的频带,其中,至少一个其他相应的参数是根据至少两个频带中的每个频带来确定的;以及输出生成电路,被配置为生成输出,包括与至少两个频带中的被选择频带相关联的至少一个参数的选择,以使得与被选择频带相关联的至少一个参数的选择被配置为减小该输出的比特率或大小,其中,被选择频带的至少一个参数被配置为表示至少两个频带的相应的参数。

根据第十六方面,提供了一种装置,包括:获得电路,被配置为获得至少一个信号,该至少一个信号包括与来自至少两个频带中的被选择频带相关联的至少一个参数、以及至少一个传输信号;复制电路,被配置为基于针对至少两个频带之一的至少一个参数、以及传输信号,复制针对至少两个频带中的至少一个其他频带的至少一个参数;以及合成电路,被配置为基于与来自至少两个频带中的被选择频带相关联的至少一个参数、针对至少两个频带中的至少一个其他频带的至少一个复制参数、以及传输信号,合成至少两个音频信号,其中,至少两个音频信号被配置为提供空间音频再现。

一种装置,包括用于执行如上所述的方法的动作的部件。

一种装置,被配置为执行如上所述的方法的动作。

一种计算机程序,包括用于使计算机执行如上所描述的方法的程序指令。

一种在介质上存储的计算机程序产品,可以使装置执行如本文所描述的方法。

一种电子装置,可以包括如本文所描述的装置。

一种芯片组,可以包括如本文所描述的装置。

本申请的实施例旨在解决与现有技术相关联的问题。

附图说明

为了更好地理解本申请,现在将通过示例的方式参考附图,其中:

图1示意性地示出适合于实现一些实施例的装置的系统;

图2示出根据一些实施例的如图1所示的系统的操作的流程图;

图3示意性地示出了捕获/编码装置;

图4示出如图3所示的捕获/编码装置的操作的流程图;

图5示意性地示出根据一些实施例的捕获/编码装置;

图6示出根据一些实施例的如图5所示的捕获/编码装置的操作的流程图;

图7示出根据一些实施例的编码装置对所获得的传输信号和元数据进行编码的操作的流程图;

图8示出根据一些实施例的如图5所示的捕获/编码装置的频带选择操作的流程图;

图9示意性地示出适合于实现本文所示装置的示例性设备。

具体实施方式

下面进一步详细描述用于提供有效空间分析导出的与麦克风阵列和其他输入格式音频信号的能量比相关联的元数据参数的合适的装置和可能的机制。

装置已经被设计为使用q(通常为2)个传输音频信号以及空间元数据来发送声场的空间音频建模。通常使用合适的音频编码方案(例如,高级音频编码-aac或增强型语音服务-evs编解码器)来压缩传输音频信号。空间元数据可以包含诸如时频域中的方向(例如,方位角、仰角)之类的参数。

此外,可以确定并用信令发送到渲染器或接收器的其他参数是一个或多个直接与总能量比(direct-to-totalenergyratio)(在时频域中),其表示每个特定方向与总音频能量之间的能量分布。另一个参数可以是一个(或在可行的情况下多个)扩散与总能量比(diffuse-to-totalenergyratio)(在时频域中),其表示环境或扩散信号(即,诸如混响之类的非定向信号)与总能量之间的能量分布。

参数化空间音频信号可以表示为q通道 元数据。可以在编码中对这种格式进行压缩,以有效地存储它以便以后获取或通过合适的传输通道来发送。可以使用各种方法,具体取决于通道被如何配置以及元数据包含什么内容。

常见的过程是为包含音频通道和元数据的整个比特流定义恒定的比特率预算。进而,可以在音频通道和元数据之间静态或自适应(动态)地分配此比特率预算。

例如,可以以各种方式使用用于2通道 元数据的64kb/s的比特率预算。使用完整的用于2个音频通道的64kb/s将为编码立体声信号(例如,使用evs编解码器)提供卓越的质量,但是在该示例中,元数据不会被发送。在使用56kb/s用于音频和8kb/s用于元数据时,通常会提供更高的总体质量,因为音频编码质量的差异并不大,但是用信令发送的元数据可以提供完整的3d环绕声再现。

基于更低的比特率,划分比特率预算变得更加困难。例如,基于16kb/s预算,可存在以下编码模式:

·一个通道音频16kb/s

·一个通道音频15kb/s 1kb/s元数据

·一个通道音频11kb/s 5kb/s元数据

·两个通道音频16kb/s

·两个通道音频15kb/s 1kb/s元数据

·两个通道音频11kb/s 5kb/s元数据

在这些示例模式之间进行优化可能需要进行侦听实验。然而,先前的实验已经表明基于这种低比特率,在多个通道上为原始音频质量提供更多的比特率往往会提供更好的感知质量。元数据比特率预算的作用是降低元数据比特率,使得音频信号接收总比特率预算的至少90%被认为是一个不错的目标。

然而,生成的元数据量以及定义空间参数的数据量与频带有关。例如,对于每个时间帧的b(例如,5、10、20或30个)个频带和两个参数(方向和能量比),每时间帧可至少具有2*b*k(k是每参数的比特数量)的元数据比特。假定每秒常见的帧数为50帧,b=5,k=10,则可以生成5kb/s的元数据。利用低比特率应用(例如,ivas),音频的总目标比特率可低至14kb/s,因此即使经过熵编码之后,元数据也会占据比特率预算的很大一部分(这可能会将比特率降低到所生成的总数的一半)。

当前,减少生成的尝试包括降低每参数的比特精度,或者甚至在比特率预算很低时删除不太重要的参数。另一个方法是减少用于元数据的频带数量,例如,每时间帧仅生成一个参数,从而产生所生成的元数据乘以b的减少。一种实现此目的的方法是执行宽带分析(换句话说,假定在整个可听频率范围内仅一个频带)并对该宽带组进行编码。

本文讨论的概念尝试改进这些方法,尤其是代替宽带分析而尝试:

·针对不同的比特率需要单个分析系统(因此无需针对低比特率的一频带分析,针对高比特率的多频带分析);以及

·以适合于人类听觉范围的实用的方式提高声音场景时频分辨率。

因此,在本文的实施例中更详细讨论的概念实现了具有多个频带的分析系统,并且进而选择最佳频带来表示当前时间帧。

因此,本文所讨论的实施例尝试通过根据所分析的元数据来选择一个频带以表示所有频带来降低比特率。这可以将比特率的使用按因子b减少(其中,b是原始频带数量)。因此,在一些实施例中,选择过程可以涉及使用与声场相关的参数化(例如,频带中的方向和直接与总能量比)的音频编码和解码,其中,提供了通过针对所有频带仅发送一个方向值来自动降低方向参数的比特率的方案,并且所发送的一个方向值通过以下操作来确定:

获得音频信号;

确定频带中的(空间参数)方向和直接与总能量比;

确定频带中的归一化能量;

确定方向能量权重因子(例如,能量乘以直接与总能量比);

确定方向能量权重因子高于阈值的最高频带;

仅编码/存储/发送所确定的频带的方向。

当分析装置被配置为执行以下操作时,上述内容可以进一步被扩展或具体化为:

获得多通道音频信号(例如,捕获空间音频信号);

对多通道音频信号应用时频变换;

对变换后的信号执行空间分析;

针对变换后的信号的每个频带,计算归一化能量;

针对变换后的信号的每个频带,计算频带权重因子(能量乘以能量比);

选择或选取权重因子超过定义的限制(例如,0.5)的最高频带;

丢弃其他元数据,仅保存被选择频带的元数据;

创建传输信号;

编码并发送/存储传输信号和元数据。

对于合成装置,然其进而被配置为:

获得(接收/获取)所发送/存储的传输信号和元数据;

将所选择/选取的元数据复制到所有频带;以及

使用传输信号和复制的元数据来合成输出。

方向和直接与总能量比可以使用任何合适的方法(例如,spac)来估计,并且取决于音频信号的类型(例如,麦克风阵列、ambisonics、多通道音频信号)。

归一化能量可以按照本文的实施例中所讨论的以合适的方式估计。例如通过计算频域样本的平方和并除以最大能量。

在一些实施例中,阈值例如可以通过平均归一化能量乘以因子来确定。

除了方向之外,还可以使用相同的方案来对所有其他参数(例如,直接与总能量比)进行编码。换句话说,针对所有频带仅发送一个参数值。可以使用相同的过程来选择将要被发送的值。

可以使用任何合适的方法来执行解码,例如通过在所有频带使用相同的参数值。

在一些实施例中,在编码时,可以将被选择频带用作参考频带,并且针对其他频带确定与被选择频带相关的极低比特率差编码。

关于图1,示出了用于实现本申请的实施例的示例性装置和系统。系统171被示出为具有“分析”部分121和“合成”部分131。“分析”部分121是从接收输入(多通道扬声器、麦克风阵列、ambisonics、或移动设备捕获)音频信号100到对可以被发送或存储104的元数据和传输信号102进行编码的部分。“合成”部分131是从对编码的元数据和传输信号104进行解码到合成信号(例如,采用多通道扬声器形式106,经由扬声器107或双耳或ambisonics格式)的呈现的部分。

因此,系统171和“分析”部分121的输入是音频信号100。它们可以是合适的输入多通道扬声器音频信号、麦克风阵列音频信号、ambisonics音频信号、或移动设备捕获的音频信号。

输入音频信号100可以被传递到分析处理器101。分析处理器101可被配置为接收输入音频信号并生成包括合适的传输信号的合适的数据流104。传输音频信号也可以被称为关联音频信号,并且是基于音频信号的。例如,在一些实施例中,传输信号生成器103被配置为例如通过波束成形技术将输入音频信号下混合或以其他方式选择或组合到确定数量的通道,并将其输出为传输信号。在一些实施例中,分析处理器被配置为生成麦克风阵列音频信号的2-音频通道输出。所确定的通道数量可以是两个或任何合适的通道数量。

在一些实施例中,分析处理器被配置为以与传输信号相同的方式将所接收到的未经处理的输入音频信号100传递到编码器。在一些实施例中,分析处理器101被配置为选择一个或多个麦克风音频信号,并将该选择输出为传输信号104。在一些实施例中,分析处理器101被配置为对传输音频信号应用任何合适的编码或量化。

在一些实施例中,分析处理器101还被配置为分析输入音频信号100以产生与输入音频信号相关联(并因此与传输信号相关联)的元数据。分析处理器101例如可以是计算机(运行存储在存储器和至少一个处理器上的合适的软件)、移动设备、或可替代地例如使用fpga或asic的专用设备。如本文中更详细地示出的,对于每个时频分析间隔,元数据可以包括至少一个方向参数和至少一个能量比参数。在一些实施例中,至少一个方向参数和至少一个能量比参数可被视为空间音频参数。换句话说,空间音频参数包括旨在表征输入音频信号的声场的参数。

在一些实施例中,所生成的参数可以在频带之间不同,并且可以取决于传输比特率。因此,例如,在频带x中,所有参数被生成和发送,而在频带y中,仅一个参数被生成和发送,此外,在频带z中,任何其他数量的参数被生成或发送。一个实际示例可以是对于一些频带(例如,最高频带),出于感知方面原因,不需要某些参数。

传输信号和元数据102可以被发送或存储,这在图1中由虚线104示出。在一些实施例中,在传输信号和元数据被发送或存储之前,它们可以被编码以便降低比特率,并且被复用到一个流。可以使用任何合适的方案来实现编码和复用。

在解码器侧131,可以将所接收或获取的数据(流)输入到合成处理器105中。合成处理器105可以被配置为将数据(流)解复用为编码的传输和元数据。然后,合成处理器105可以对任何编码的流进行解码以便获得传输信号和元数据。

合成处理器105进而可以被配置为接收传输信号和元数据,并基于传输信号和元数据来创建合适的多通道音频信号输出106(其可以是任何合适的输出格式,例如,双耳、多通道扬声器或ambisonics信号,具体取决于用例)。在一些实施例中,利用耳机或扬声器再现,再现具有期望的感知特性的实际物理声场(使用输出设备107,例如,扬声器/耳机等)。在其他实施例中,声场的再现可被理解为是指通过除了在空间中再现实际物理声场之外的其他方式来再现声场的感知特性。例如,可以使用本文所描述的双耳再现方法在耳机上再现声场的期望感知特性。在另一示例中,声场的感知特性可以被再现为ambisonics输出信号,并且可以利用ambisonics解码方法来再现这些ambisonics信号,以提供例如具有期望感知特性的双耳输出。

在一些实施例中,合成处理器105可以是计算机(运行存储在存储器和至少一个处理器上的合适的软件)、移动设备、或可替代地例如使用fpga或asic的专用设备。

关于图2,示出了图1所示的概述的示例性流程图。

首先,系统(分析部分)被配置为接收输入音频信号或合适的多通道输入,如图2的步骤201所示。

然后,系统(分析部分)被配置为生成传输信号通道或传输信号(例如,基于多通道输入音频信号的下混合/选择/波束成形),如图2的步骤203所示。

另外,系统(分析部分)被配置为分析音频信号以生成元数据:方向、能量比,如图2的步骤205所示。

进而,系统被配置为(可选地)对传输信号和元数据进行编码以用于存储/发送,如图2的步骤207所示。

此后,系统可以存储/发送传输信号和元数据,如图2的步骤209所示。

系统可以获取/接收传输信号和元数据,如图2的步骤211所示。

然后,系统被配置为从传输信号和元数据中进行提取,如图2的步骤213所示。

系统(合成部分)被被配置为基于所提取的音频信号和元数据来合成输出空间音频信号(如先前所讨论的,其可以是任何合适的输出格式,例如,双耳、多通道扬声器或ambisonics信号,具体取决于用例),如图2的步骤215所示。

关于图3,示出了示例性分析处理器101,其中,从音频源301提供输入音频信号,在该示例中,音频源301是被配置为从多个麦克风生成多通道音频信号的空间捕获设备。在该示例中,多通道音频信号被传递到传输(音频)信号生成器311。传输信号生成器311被配置为根据先前描述的任一选项来生成传输音频信号。例如,传输信号可以是从输入信号下混合的。传输音频信号的数量可以是任意数量,可以是2个,或者多于或少于2个。

在图3所示的示例中,多通道音频信号也被输入到时频变换303中。时频变换303可以被配置为生成多通道音频信号的合适的时频表示,并其传递到频带处理器307。

频带处理器305被配置为生成空间元数据输出,诸如被示出为方向、直接与总能量比,并且在一些实施例中被示出为其他类型的能量比,例如,扩散与总能量比、以及剩余与总能量比(remainder-to-totalenergyratio)。

分析的实现可以是产生所描述的元数据输出的任何合适的实现。

因此,例如,在一些实施例中,频带处理器305包括被配置为生成方向元数据的方向分析器307和被配置为生成能量比元数据的能量比分析器309。

进而,所有被分析的频带的方向和能量比元数据可以被传递到发送/存储编码器313。发送/存储编码器313可以被配置为将传输信号、方向和能量比进行组合和编码以生成数据流102。

例如,在一些实施例中,发送/存储编码器313可以包括被配置为使用合适的编解码器(例如,aac或evs)来压缩音频信号的合适的传输信号压缩器/编码器。

关于图4,示出了分析处理器的操作的流程图。

第一操作是接收(多通道扬声器或其他)音频信号,如图4的步骤401所示。

在一些实施例中,音频信号以某一形式被处理以生成传输音频信号,如图4的步骤403所示。

下一操作是对(多通道扬声器)信号进行空间分析以便确定方向元数据,如图4的步骤405所示。

然后,确定能量比(例如,直接、扩散和剩余能量比),如图4的步骤407所示。

在一些实施例中,对元数据和传输音频信号进行处理(压缩/编码)。例如,进一步控制方向和比率的数量(并且可以进行选择和/或组合)。图4的步骤409示出了元数据/传输音频信号的处理。

进而,可以进一步将处理后的传输音频信号和元数据进行组合以生成合适的数据流,如图4的步骤411所示。

关于图5,示出了适于实现一些实施例的示例性分析处理器101,并且对图3中提供的示例进行了补充。

再次示出了具有从音频源301提供的输入音频信号的示例性分析处理器101,在该示例中,音频源301是被配置为从多个麦克风生成多通道音频信号的空间捕获设备。例如,可以利用任何已知的捕获设备来捕获空间音频信号。例如,eigenmike或诺基亚8移动电话是合适的捕获设备。如前所述,多通道(空间)音频信号可以具有可产生相关空间音频参数的任何格式,诸如混合内容(例如,诸如5.1之类的多通道音频格式)和ambisonics内容。

在该示例中,多通道音频信号被传递到传输(音频)信号生成器311。

与图3中的示例类似的传输信号生成器311被配置为根据先前描述的任一选项来生成传输音频信号。例如,传输信号可以是从输入信号下混合的。传输音频信号的数量可以是任意数量,可以是2个,或者多于或少于2个。

在图5所示的示例中,多通道音频信号也被输入到时频变换303中。时频变换303可以被配置为生成多通道音频信号的合适的时频表示,并将其传递到频带处理器505。

频带处理器505被配置为生成空间元数据输出,诸如被示出为方向、直接与总能量比,并且在一些实施例中为其他类型的能量比,例如,扩散与总能量比、以及剩余与总能量比。

分析的实现可以是产生所描述的元数据输出的任何合适的实现。

因此,例如,在一些实施例中,频带处理器505包括被配置为生成方向元数据的方向分析器307和被配置为生成能量比元数据的能量比分析器309。

这些可以通过对时频变换后的多通道音频信号执行空间分析来确定。

空间分析的示例例如可以是dirac(定向音频编码)空间分析。

dirac可以从一阶ambisonic(foa)信号或其变体b格式信号中估计方向和扩散比率(直接射与总比率参数的等效信息)。

信号例如通过stft被变换到频带中,从而产生时频信号w(k,n)、x(k,n)、y(k,n)、z(k,n),其中,k为频率仓(frequencybin)索引,n为时间索引。dirac通过以下公式估计强度向量:

其中,re表示实部,星号*表示复共轭。

方向参数与强度向量的实部的方向相反。在确定方向参数之前,可以在若干时间和/或频率索引上对强度向量进行平均。

dirac将扩散度确定为:

扩散度是一个比率值:当声音为完全环绕的,该比率值为1,当声音为完全定向时,该比率值为0。另外,该公式中的所有参数通常在时间和/或频率上被平均。在实际的系统中,期望算子e[]可以用平均算子来替换。

当进行平均时,通常在频带中结合若干频率仓k(例如,近似于bark频率分辨率)来确定扩散度(和方向)参数。

如在上面确定的dirac只是确定方向和比率元数据的选项之一,显然,可以使用其他方法来确定元数据,例如,使用空间音频捕获(spac)算法以及麦克风阵列信号(真实或模拟的)。此外,在文献中还存在dirac分析的许多变型。例如,如果输入内容不是foa,则可以进行合适的修改以将信号变换成foa格式以执行分析。只要产生方向元数据和能量比元数据,其他分析方法也是适用的。

进而,所有被分析的频带的方向和能量比元数据可以被传递到元数据选择器521。

此外,能量比分析器309的输出被输出到权重因子确定器517。

另外,频带处理器505包括归一化能量确定器515,其被配置为生成归一化能量确定,并将该归一化能量确定传递到权重因子确定器517和权重限制确定器519。

在一些实施例中,归一化能量确定可以被执行为两步操作。第一步是例如用以下公式针对在此时刻中每个频带计算平均能量:

其中,n是该时间帧中的时间样本数量,kb和kt是当前频带的最低和最高频率仓,i是信号的输入通道数量。s(i,k,n)是传输信号的时频域表示。

第二步是对每个频带的平均能量进行归一化,以便找到任一频带的最大能量,然后用所有能量除以最大能量值。这可以被视为一个频带的最大能量(总是)为1,而其他频带具有更小的能量,或者被表示为以下公式:

在一些实施例中,可以使用任何合适的替代归一化方法(例如,用总能量而不是最大能量进行归一化),并且可以适当地调整限制参数(如随后所讨论的)。另外,在一些实施例中,可以使用非归一化能量,但是限制参数需要更加仔细的调整。

在一些实施例中,频带处理器505还包括权重因子确定器517,其被配置为接收归一化能量以及能量比,并确定将要输出到元数据选择器521的至少一个权重因子。

在已知归一化能量的情况下,可以基于能量比与频带中的归一化能量的乘积来确定权重因子。因此,权重因子可以通过以下公式来确定:

w=renorm

其中,r是能量比参数。

该权重因子是在0与1之间的数字。当场景中存在定向脉冲初动时,该权重因子具有极高的值,因为能量比和归一化能量都很高。同样地,如果不存在初动,则对于较高的频率,这些值往往会较低。乘积的使用可以确保例如高归一化能量但低能量比(即,响亮的混响)不会产生高的权重值,因为这种情况下的方向和元数据不是最佳代表。

在一些实施例中,该权重因子可以是任何其他合适的权重因子,诸如仅能量比参数r。

在一些实施例中,分析处理器101包括权重限制确定器519,其被配置为接收归一化能量确定,并将权重限制值输出到元数据选择器521。

权重限制可以是恒定值(例如,0.5),他也可以是基于时间帧内所有频带的平均归一化能量(例如,平均归一化能量乘以常数(如0.5))的。后一选项是优选的,其形式为:

其中,c是调整的阈值常数(例如,0.5),b是频带的总数量。

在一些实施例中,该权重限制可以是任何其他合适的值。

在一些实施例中,分析处理器101包括被配置为接收方向分析器307的输出(针对每个频带的方向元数据)、能量比分析器309的输出(针对每个频带的能量比元数据)、权重因子确定器517的输出(权重因子)、以及权重限制确定器519的输出的元数据选择器521。进而,元数据选择器521被配置为基于权重因子和权重因子限制来选择方向和能量比之一,并将所选择的元数据传递到发送/存储编码器513。

元数据选择器可以被配置为选择或选取权重因子超过权重限制的最高频带。如果由于某种原因没有任何频带的权重超过限制,则在一些实施例中,元数据选择器被配置为选择最低频带。

在一些实施例中,一旦元数据选择器确定了被选择频带,它就可以被配置为丢弃与其他频带相关联的元数据。

在一些实施例中,元数据选择器被配置为进行优先排序并仅丢弃元数据的一部分。例如,在一些实施例中,丢弃针对其他频带的方向信息,但保留所有频带的能量比参数。

在一些实施例中,选择两个或更多个频带(但少于频带总数量)以表示其他频带。例如,可以选择两个频带,以使得选择权重超过阈值(或权重限制)的两个(或n个,其中,n小于频带总数量)最高频带。进而,使用与被选择的较高频带相关联的参数以表示高于其的频带的参数,使用与较低频带相关联的参数以表示低于其的频带的参数,以及同时使用这两者以表示在它们之间的频带。

在一些实施例中,选择“最佳”频带,但是采用差分编码技术来表示其他频带。

例如,对于每个频带:

·可以针对方位角和仰角单独地对方向进行编码

ο方位角具有2比特,并且表示从被选择频带方位角的0°、90°、180°、或270°的偏移

ο仰角具有2比特,并且表示0°、45°、以及-45°的偏移(一个值没有被使用)

·每个比率参数具有2比特,并且表示0、0.25、-0.25、-0.5的偏移

在一些实施例中,一些比特被用于信令发送哪个频带是用于差分编码的参考频带。使用此方法仍然可以显著降低比特率,但可以提供更准确的表示。

在一些实施例中,选择最高频带,并且使用与最高频带相关联的元数据来“表示”所有频带。这在质量上不是最佳的,但是能够以有效节省计算的方式来实现。

分析处理器101还可以包括发送/存储编码器513。发送/存储编码器513可以被配置为对传输信号、被选择方向、以及能量比进行组合和编码,以生成数据流102。

例如,在一些实施例中,发送/存储编码器513可以包括合适的传输信号压缩器/编码器,其被配置为使用合适的编解码器(例如,aac或evs)来压缩音频信号,并使用熵编码方法(例如,码本编码)来对元数据进行编码。

关于图6,示出了图5所示的分析处理器(另外示出了图1所示的合成处理器)的操作的流程图。

第一操作是获得(多通道扬声器或其他)音频信号,如图6的步骤601所示。

可以通过应用时频变换来处理音频信号,如图6的步骤603所示。

在一些实施例中,时频域音频信号以某一形式被处理以生成传输信号,如图6的步骤617所示。

此外,在一些实施例中,处理时频域音频信号并执行空间分析以确定针对每个频带的参数,诸如方向(和/或距离)和能量比,如图6的步骤607所示。

另外,在一些实施例中,处理时频域音频信号,并计算每频带的归一化能量,如图6的步骤605所示。

在已确定每频带的归一化能量并进行空间分析之后,进而在一些实施例中,形成或确定每频带的权重因子,如图6的步骤609所示。

另外,在已确定每频带的归一化能量之后,在一些实施例中,形成或确定权重因子限制,如图6的步骤611所示。

基于每频带的权重因子以及权重因子限制,选择权重超过限制的最高频带,如图6的步骤613所示。

进而,丢弃其他元数据,并保存被选择频带元数据,如图6的步骤615所示。

在存储和/或发送之前,对被选择元数据以及传输信号进行压缩/编码(和组合),如图6的步骤619所示。

关于合成处理器操作,对被发送/获取的信号进行解码,并针对所有频带复制元数据,如图6的步骤621所示。

进而,执行合适的空间合成,如图6的步骤623所示。

如前所述,音频信号输入格式可以是任何合适的格式。例如,关于图7,示出了适合于对所获得的传输音频信号和元数据进行编码的编码器的操作的流程图。在这样的实施例中,频带处理器可以仅包括归一化能量确定器和权重因子确定器,因为已经确定了方向和能量比。

第一操作是获得传输音频信号和元数据,如图7的步骤701所示。

在该示例中,已经获得了针对每个频带的参数(诸如方向(和/或距离)和能量比)并且计算了每频带的归一化能量,如图7的步骤705所示。

在已确定每频带的归一化能量并且进行空间分析之后,进而在一些实施例中,形成或确定每频带的权重因子,如图7的步骤709所示。

另外,在已确定每频带的归一化能量之后,在一些实施例中,形成或确定权重因子限制,如图7的步骤711所示。

基于每频带的权重因子以及权重因子限制,选择权重超过限制的最高频带,如图7的步骤713所示。

进而,丢弃其他元数据,并保存被选择的频带元数据,如图7的步骤715所示。

在存储和/或发送之前,对被选择的元数据以及传输信号进行压缩/编码(和组合),如图7的步骤719所示。

关于合成处理器操作,对被发送/获取的信号进行解码,并针对所有频带复制元数据,如图7的步骤721所示。

进而,执行合适的空间合成,如图7的步骤723所示。

关于图8,进一步详细示出了元数据选择器的示例性操作。第一操作是开始并接收输入,诸如权重因子、权重限制、以及参数,如图8的步骤801所示。

下一操作是设置索引i=b,如图8的步骤803所示。

下一操作是相对于权重限制wthr来测试索引权重因子wi,如图8的步骤803所示。

如果wi>wthr,则下一操作是确定i为被选择频带,如图8的步骤809所示,然后结束操作,如图8的步骤813所示。

如果wi不>wthr,则下一操作是将i减1,如图8的步骤807所示。

在已将i减1之后,下一操作是检查i是否=1,如图8的步骤811所示。

如果i=1,则下一操作是确定i是被选择频带,如图8的步骤809所示,然后结束操作,如图8的步骤813所示。

如果在i不等于1,则接下来的操作可以相对于权重限制wthr来测试新的索引,索引权重因子wi,如图8的步骤803所示,然后该过程继续,直到对于索引,wi>wthr,或者索引=1。

以上假定频带索引从1开始。可以修改以上内容以适应任何其他索引系统(例如从0开始)。

关于合成处理器,可以获得单个频带元数据值,然后针对所有频带进行复制。这将得到可以被用于进一步合成的通用的完整的一组元数据。

进而,合成操作可以使用传输信号和复制的元数据来生成音频信号的合适渲染。可以使用任何合适的手段来执行该过程,例如,使用诸如基于dirac的空间音频信号合成之类的方法。用于合成扬声器音频信号的示例性过程是使用3d平移技术(例如,向量基幅度平移(vbap))来将方向合成为特定方向乘以并且非定向环境信号用相位加扰滤波器去相关,并且被再现到所有方向乘以其中,r是能量比参数,c是扬声器通道数量。

以这样的方式,可以实现一些实施例,这些实施例减少了比特率使用,同时提供了在许多情况下至少是合理的并且可以对许多信号的完整的元数据传输是几乎透明(并且在许多情况下是透明的)的质量。主要方法的比特率减少按因子b减少(其中,b是原始频带数量)。即,如果原始元数据比特率是5kb/s并且b=5,则此方法将实现1kb/s的比特率。

此外,这样的实施例可以能够产生与使用单个宽带参数分析至少一样好或更好的信号。

另外,在一些实施例中,该实现是降低比特率的在计算上有效节省的方法,因为它只需要确定能量(这通常已经是分析的一部分)和权重因子,进而丢弃数据。

在一些实施例中,甚至以非常低的比特率实现空间声音传输存储。

例如,电话会议系统可以使用参数化空间音频(例如,dirac)作为主要分析和合成方法。可以用针对此使用的产生一阶ambisonics的eigenmike来获得空间捕获。在时频(20ms帧和30个频带)域中分析空间音频,并产生方向参数(诸如方位角和仰角)以及能量比参数(采用扩散度的形式)。不是使用每参数确定的比特数量(即,8比特)对这些参数进行编码从而产生36kb/s比特率(在其他压缩之前)的元数据,某些实施例的应用可以针对元数据仅产生1.2kb/s的比特率(在其他压缩之前)。这留下了更多的比特以用于音频信号的编码,这直接导致更好的感知音频质量。

另一示例是使用时频分辨率(诸如10ms的时间帧,12个频带)将导致以下的比较比特率。根据一些实施例,24kb/s相较于2.4kb/s。

由于元数据比特率的降低很大,因此对于比特率预算非常低的用例尤其有利。例如,如果仅使用原始音频编码,则24kb/s通常在单声道下混合或压缩率很高的立体声域中。如果使用例如以上第二个时频分辨率引入空间元数据,则完整的空间元数据将会难以符合比特率预算,即使对其进行预期的50%熵编码之后也是如此(元数据将占用可用的24kb/s中的12kb/s)。然而,通过使用所提供的实施例,可以将元数据减少到五分之一,并且在这种情况下,在熵编码之后实现了非常合理的比特率划分(1.2kb/s用于元数据,22.8kb/s用于音频),从而甚至以低比特率提供完整的空间音频,而不是单声道或立体声。这意味着在低比特率下,与发送完整的元数据相比,可以显著提高音质。

关于图9,示出了可用作分析或合成装置的示例性电子装置。该装置可以是任何合适的电子装置或装置。例如,在一些实施例中,装置1900是移动装置、用户装置、平板计算机、计算机、音频播放装置等。

在一些实施例中,装置1900包括至少一个处理器或中央处理单元1907。处理器1907可被配置为执行诸如本文所描述的方法的各种程序代码。

在一些实施例中,装置1900包括存储器1911。在一些实施例中,至少一个处理器1907被耦合到存储器1911。存储器1911可以是任何合适的存储部件。在一些实施例中,存储器1911包括用于存储可在处理器1907上实现的程序代码的程序代码部分。此外,在一些实施例中,存储器1911还可包括用于存储数据(例如,根据本文所描述的实施例的已被处理或将要处理的数据)的存储数据部分。无论何时只要需要,处理器1907就可经由存储器-处理器耦合来获取存储在程序代码部分中的实现程序代码和存储在存储数据部分中的数据。

在一些实施例中,装置1900包括用户接口1905。在一些实施例中,用户接口1905可被耦合到处理器1907。在一些实施例中,处理器1907可控制用户接口1905的操作并从用户接口1905接收输入。在一些实施例中,用户接口1905可使得用户能够例如经由键盘将命令输入到装置1900。在一些实施例中,用户接口1905可使得用户能够从装置1900获得信息。例如,用户接口1905可包括被配置为将信息从装置1900显示给用户的显示器。在一些实施例中,用户接口1905可包括触摸屏或触摸界面,其能够使得信息被输入到装置1900并且还向装置1900的用户显示信息。

在一些实施例中,装置1900包括输入/输出端口1909。在一些实施例中,输入/输出端口1909包括收发机。在这种实施例中,收发机可被耦合到处理器1907并且被配置为使得能够例如经由无线通信网络与其他装置或电子装置进行通信。在一些实施例中,收发机或任何合适的收发机或发射机和/或接收机装置可被配置为经由有线或有线耦合与其他电子装置或装置通信。

收发机可通过任何合适的已知通信协议与其他装置通信。例如,在一些实施例中,收发机或收发机部件可使用合适的通用移动电信系统(umts)协议、诸如例如ieee802.x之类的无线局域网(wlan)协议、诸如蓝牙之类的合适的短距离射频通信协议、或者红外数据通信路径(irda。

收发机输入/输出端口1909可被配置为接收扬声器信号(或其他输入格式音频信号),并且在一些实施例中通过使用执行合适的代码的处理器1907来确定如本文所描述的参数。此外,装置可生成合适的传输信号和参数输出以发送到合成装置。

在一些实施例中,装置1900可被作为合成装置的至少一部分。这样,输入/输出端口1909可被配置为接收传输信号,并且在一些实施例中接收如本文所描述的在捕获装置或处理装置处确定的参数,以及通过使用执行合适的代码的处理器1907来生成合适的音频信号格式输出。输入/输出端口1909可被耦合到任何合适的音频输出,例如被耦合到多通道扬声器系统和/或耳机或类似物。

通常,本发明的各种实施例可以采用硬件或专用电路、软件、逻辑或其任何组合来实现。例如,一些方面可以采用硬件实现,而其他方面可以采用可由控制器、微处理器或其他计算装置执行的固件或软件实现,但是本发明不限于此。虽然本发明的各个方面可被示出并描述为框图、流程图或使用一些其他图示表示来示出或描述,但是应当充分理解,本文所描述的这些框、装置、系统、技术或方法可以作为非限制性的示例采用硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算装置、或其一些组合来实现。

本发明的实施例可由计算机软件、或由硬件、或由软件和硬件的组合来实现,计算机软件是移动装置的数据处理器可执行的,诸如在处理器实体中。此外,在此方面,应当注意附图中的逻辑流程的任何框都可表示程序步骤、或互连的逻辑电路、块和功能、或程序步骤和逻辑电路、块和功能的组合。软件可存储在物理介质上,诸如存储器芯片、或在处理器内实现的存储器块、诸如硬盘或软盘的磁介质、以及诸如dvd及其数据变体、cd的光学介质。

存储器可以是适合于本地技术环境的任何类型,并且可使用任何合适的数据存储技术来实现,诸如基于半导体的存储器装置、磁存储器装置和系统、光存储器装置和系统、固定存储器、以及可移动存储器。数据处理器可以是适合于本地技术环境的任何类型,并且作为非限制性示例可包括通用计算机、专用计算机、微处理器、数字信号处理器(dsp)、专用集成电路(asic)、门级电路、以及基于多核处理器架构的处理器中的一个或多个。

本发明的实施例可在诸如集成电路模块的各种组件中实践。集成电路的设计基本上是高度自动化的过程。复杂且功能强大的软件工具可用于将逻辑级设计转换成准备在半导体衬底上蚀刻和形成的半导体电路设计。

程序,诸如由加利福尼亚州山景城的synopsys公司和加利福尼亚州圣何塞的cadencedesign公司所提供的那些程序,可以使用完善的设计规则以及预先存储的设计模块库在半导体芯片上自动布线导体和定位元件。一旦完成了对半导体电路的设计,就可以将采用标准化电子格式(例如,opus、gdsii等)的设计结果传送到半导体制造装置或“fab”以进行制造。

前面的描述已经通过示例性和非限制性示例提供了对本发明的示例性实施例的完整且信息丰富的描述。然而,当结合附图和所附权利要求进行阅读时,鉴于前面的描述,各种修改和调整对于相关领域技术人员而言将变得显而易见。然而,对本发明的教导的所有这些和类似的修改仍将落入所附权利要求中限定的本发明的范围内。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜