用于异构音频回放同步的方法、装置和系统与流程

摘要: 本公开涉及音频同步,并且更具体地涉及用于由不同音频回放链处理的音频通道的同步方法和设备。背景技术:1、对由不同回放链处理的音频通道进行同步,是音频工程中的一个具...
用于异构音频回放同步的方法、装置和系统与流程

本公开涉及音频同步,并且更具体地涉及用于由不同音频回放链处理的音频通道的同步方法和设备。

背景技术:

1、对由不同回放链处理的音频通道进行同步,是音频工程中的一个具有挑战性的问题。回放链通常由一系列部件组成,包括数字信号处理(dsp)单元、数模转换器(dac)、放大器和扬声器,其中每个部件都会引入自己的处理时间和潜在的变化性。当多个回放链同时运行时,即使微小的时间差异也可能导致相位失配、梳状滤波、不必要的回声或多通道音频系统中的空间成像失效。这些问题在环绕声设置、现场扩声、多房间音频系统和网络音频应用等环境中尤为明显。

2、以下几个因素会导致同步问题。硬件差异(比如dac处理速度或放大器延迟的差异)可能会导致各通道之间出现时序不匹配。在数字音频系统中,设备之间采样率时钟的差异可能会导致漂移,从而导致随时间推移逐渐失去同步。在网络音频环境中,由数据传输速度变化引起的抖动和缓冲延迟可能会进一步加剧这个问题,使实时同步变得困难。即使在非联网场景下,基于软件的处理(比如实时dsp调整、均衡和动态范围压缩)也可能导致不同的回放链之间产生可变的延迟。

3、因此,需要一种同步技术,以实现由不同音频回放链处理的音频通道的同步回放。

技术实现思路

1、鉴于上述内容,本公开提供了用于同步由单独的音频回放链处理的两个或更多个音频通道信号以及基于延迟信号估计时钟速率的方法、装置和程序以及计算机可读存储介质,这些方法、装置和程序以及计算机可读存储介质具有相应独立权利要求的特征。

2、根据本公开的第一方面,提供了一种同步两个或更多个音频通道信号的方法,每个音频通道信号由单独的音频回放链处理。该方法可以针对每个音频通道信号执行。可以接收相应音频回放链的延迟信号。可以基于延迟信号,使用延迟锁定环dll估计/确定时钟速率。时钟速率可以被估计为使得当时钟速率应用于音频通道信号时,延迟信号随时间保持基本恒定。时钟速率可以对应于相应音频回放链的数模转换器dac的转换速率或与其相关。可以基于时钟速率,使用锁相环pll估计/确定采样率。可以基于采样率对音频通道信号进行重采样,以生成重采样音频通道信号。可以基于延迟信号延迟重采样音频通道信号,以生成延迟的重采样音频通道信号,使得两个或更多个延迟的重采样音频通道信号在回放时保持时间同步。

3、通过采用该同步方法,即使对应的音频回放链对相应音频通道信号引入完全不同的延迟,也可以同步两个或更多个音频通道信号。

4、在一些实施例中,该方法可以进一步包括将时钟速率应用于延迟的重采样音频通道信号,以设定通过相应音频回放链传输延迟的重采样音频通道信号的样本的速率。

5、在一些实施例中,设定通过相应音频回放链传输延迟的重采样音频通道信号的样本的速率可以包括:以设定速率将样本提供给相应音频回放链的音频接口(即用于接收数字音频信号的接口)。该音频接口例如可以是蓝牙发起设备的主机或数模转换器dac。

6、在一些实施例中,基于延迟信号,使用dll估计时钟速率可以包括:基于延迟信号与参考延迟之间的第一误差信号,使用dll的第一dll级估计第一时钟速率。该第一时钟速率可以被估计为使得当第一时钟速率应用于音频通道信号时,延迟信号随时间保持基本恒定。进一步地,可以随时间累积第一时钟速率和第一误差信号的对,直到达到阈值(例如,与第一时钟速率和第一误差信号的对的数量相关的阈值)。在达到阈值之后,可以基于累积的对估计第二时钟速率。第二时钟速率可以对应于第一误差信号等于零的情况。进一步地,延迟信号处理可以从dll的第一dll级切换到dll的第二dll级(在估计出第二时钟速率之后)。然后,可以基于延迟信号和第二时钟速率,使用第二dll级估计/确定第三时钟速率。该第三时钟速率可以被估计为使得当第三时钟速率应用于馈送到音频通道信号的信号时,延迟信号随时间保持基本恒定。输出时钟速率可以对应于从第一dll级切换到第二dll级之前的第一时钟速率,并且可以对应于从第一dll级切换到第二dll级之后的第三时钟速率。

7、通过使用两级dll,即使输入延迟信号量化粗糙(例如,由于音频回放链中的计时器不准确),也可以估计出稳定的时钟速率。

8、在一些实施例中,每个音频通道信号可以包括由相同的音频回放链处理的多个音频子通道信号,即,多个音频通道信号可以使用相同的音频回放链或基本上相同的音频回放链,例如,多个本地音频通道信号。

9、在一些实施例中,每个音频回放链可以是本地音频回放链或远端音频回放链之一。远端音频回放链可以包括蓝牙低功耗音频回放链或wifi音频回放链之一。

10、在一些实施例中,相应音频回放链的延迟信号可以指示音频回放延迟,如果相应音频回放链是本地音频回放链,则音频回放延迟包括音频信号的本地呈现延迟;或者如果相应音频回放链是远端音频回放链,则音频回放延迟包括音频信号在无线介质上的传输延迟和音频信号的远端呈现延迟。本地呈现延迟可以是从音频信号进入dac到由扬声器回放的延迟。远端呈现延迟可以是从音频信号由远端音频回放链的远端部分接收到由扬声器回放的延迟。

11、在一些实施例中,基于时钟速率,使用pll估计采样率可以包括:平滑时钟速率以估计/确定采样率。

12、在一些实施例中,基于采样率对相应音频通道信号进行重采样可以将音频通道信号的源数字音频采样率转换为采样率。该源数字音频采样率可以是与音频回放链中使用的编解码器相关的采样率。

13、在一些实施例中,生成延迟的重采样音频通道信号,使得两个或更多个延迟的重采样音频通道信号在回放时保持时间同步可以包括:根据预设延迟与延迟信号之间的差,延迟重采样音频通道信号,其中,预设延迟对于所有音频通道信号都是相等的。

14、根据本公开的第二方面,提供了一种基于延迟信号估计时钟速率的基于两级dll的方法。可以接收延迟信号。该延迟信号可以对应于信号传输链(即包括数字处理的信号传输链)上的信号延迟。可以通过使用第一dll级基于延迟信号与参考延迟之间的第一误差信号来估计第一时钟速率。该第一时钟速率可以被估计为使得当第一时钟速率应用于馈送到信号传输链的信号时,延迟信号随时间保持基本恒定。进一步地,可以随时间累积第一时钟速率和第一误差信号的对,直到达到阈值(例如,与第一时钟速率和第一误差信号的对的数量相关的阈值)。在达到阈值之后,可以基于累积的对估计第二时钟速率。第二时钟速率可以对应于第一误差信号等于零的情况。进一步地,延迟信号处理可以从dll的第一dll级切换到dll的第二dll级(在估计出第二时钟速率之后)。然后,可以基于延迟信号和第二时钟速率,使用第二dll级估计/确定第三时钟速率。该第三时钟速率可以被估计为使得当第三时钟速率应用于馈送到信号传输链的信号时,延迟信号随时间保持基本恒定。输出时钟速率可以对应于从第一dll级切换到第二dll级之前的第一时钟速率,并且可以对应于从第一dll级切换到第二dll级之后的第三时钟速率。

15、通过使用该两级dll方法,可以快速估计第一时钟速率,而在估计出一定数量的第一时钟速率样本之后,可以估计稳定的第三时钟速率。由此,即使输入到两级dll中的延迟信号随时间发生较大变化(例如由于量化粗糙),也可以实现稳定的时钟速率。

16、在一些实施例中,使用第一dll级估计第一时钟速率可以包括:对延迟信号使用第一平均函数,以生成第一平均延迟信号。进一步地,可以确定第一平均延迟信号与参考延迟之间的第一误差信号。该参考延迟可以是在信号传输链启动期间获取的延迟。可以由比例导数控制器基于误差信号估计第一时钟速率。由比例导数控制器估计时钟速率可以进一步基于参考时钟速率。

17、在一些实施例中,基于累积的对估计与等于零的第一误差信号相对应的第二时钟速率可以包括:生成第一时钟速率和第一误差信号的对的直方图。进一步地,可以基于直方图中频率最高的n个第一时钟速率和第一误差信号的对估计第二时钟速率,其中,n是大于零的整数。基于直方图中频率最高的n个第一时钟速率和第一误差信号的对估计第二时钟速率可以通过线性回归来执行,即,可以使用线性回归为频率最高的n个对找到最佳拟合线性函数,并使用该线性函数确定与误差信号为零相对应的时钟速率。

18、在一些实施例中,使用第二dll级估计第三时钟速率可以包括:对延迟信号使用第二平均函数,以生成第二平均延迟信号。进一步地,可以确定第二平均延迟信号与第二平均延迟信号的延迟版本之间的第二误差信号。可以由比例控制器基于第二误差信号和第二时钟速率估计/确定第三时钟速率。

19、在一些实施例中,第一平均函数的平均窗口可以比第二平均函数的平均窗口更短。例如,第一平均函数的平均窗口的长度可以等于1秒,并且第二平均函数的平均窗口的长度可以等于1分钟。

20、根据第二方面的任何实施例可以与根据第一方面的两级dll实施例组合。

21、本公开的第一方面和第二方面可以经由装置来实施。该装置可以包括处理器和耦接到处理器的存储器。处理器可以适于执行根据本公开的各个方面和各个实施例所述的方法。

22、本公开的各个方面可以经由程序来实施。当程序的指令由处理器执行时,该处理器可以执行本公开的各个方面和各个实施例。计算机可读存储介质可以存储程序。这种计算机可读存储介质可以包括存储器设备,如本文所描述的那些存储器设备,包括但不限于随机存取存储器(ram)设备、只读存储器(rom)设备等。因此,可以经由其上存储有软件的一个或多个计算机可读存储介质来实施本公开中描述的主题的一些创新方面。

23、将认识到,装置特征和方法步骤可以以多种方式互换。特别地,如本领域技术人员将认识到的,所公开方法的细节可以由对应装置(或系统)实现,反之亦然。此外,关于方法进行的以上陈述中的任何陈述被理解为同样地适用于对应装置(或系统),反之亦然。