延时估计稳态值的获取方法、装置、电子设备和存储介质与流程

1.本技术涉及音频及网络直播技术领域，特别是涉及一种延时估计稳态值的获取方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.在网络直播的语音通信系统中，信号传输过程需要对回声信号做回声消除处理，回声消除系统中延时估计单元用于对参考信号和麦克风信号进行移位对齐。其中，回声消除是对麦克风采集信号中的回声信号进行消除，延时估计是估计两路信号之间的相对延时。
3.在目前的技术中，延时估计分为两步，第一步是计算延时估计瞬态值，第二步是获取延时估计稳态值。其中，这种技术需要先获取一定时间长度的延时估计瞬态值，然后对这些延时估计瞬态值求最大值概率分布，根据最大概率的延时估计瞬态值得到延时估计稳态值输出。然而，这种技术需获取较长时间的延时估计瞬态值，从而导致延时估计稳态值输出的速度较慢，拖慢延时估计的收敛速度，进而引起回声残留时间偏长的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种延时估计稳态值的获取方法、装置、电子设备和计算机可读存储介质。
5.第一方面，本技术提供了一种延时估计稳态值的获取方法。所述方法包括：
6.获取目标帧麦克风信号分别与各帧参考信号的相似度；
7.确定与当前信号传输阶段相适应的预设系数；
8.将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；
9.基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；
10.根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
11.在一个实施例中，所述确定与当前信号传输阶段相适应的预设系数，包括：
12.获取信号传输阶段与系数的预设对应关系；基于所述预设对应关系，获取与所述当前信号传输阶段相适应的预设系数。
13.在一个实施例中，所述基于所述预设对应关系，获取与所述当前信号传输阶段相
适应的预设系数，包括：
14.基于所述预设对应关系，所述当前信号传输阶段为初始阶段时，确定所述当前信号传输阶段相适应的预设系数为第一预设系数；所述当前信号传输阶段为单讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第二预设系数；所述当前信号传输阶段为双讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第三预设系数。
15.在一个实施例中，所述目标帧麦克风信号包括当前帧麦克风信号及各前序帧麦克风信号；所述将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率，包括：
16.将所述当前帧麦克风信号分别与所述各帧参考信号的相似度、各前序帧麦克风信号各自分别与所述各帧参考信号的相似度和预设系数输入所述预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；
17.其中，所述预设延时概率确定模型，用于确定所述各帧麦克风信号各自对应的麦克风帧号差，将所述麦克风帧号差作为所述预设系数的指数调整因子得到所述各帧麦克风信号各自对应的延时概率权重；针对每一帧参考信号，将所述当前帧麦克风信号与该帧参考信号的相似度、各前序帧麦克风信号各自与该帧参考信号的相似度与对应的延时概率权重相乘，得到所述各帧麦克风信号各自对应的延时概率贡献值；将所述各帧麦克风信号各自对应的延时概率贡献值求和得到该帧参考信号对应的延时概率。
18.在一个实施例中，所述将所述麦克风帧号差作为所述预设系数的指数调整因子得到所述各帧麦克风信号各自对应的延时概率权重，包括：
19.根据所述预设系数得到第一部分权重，将所述麦克风帧号差作为所述预设系数的指数调整因子得到第二部分权重；将所述第一部分权重与第二部分权重相乘得到所述延时概率权重。
20.在一个实施例中，所述获取目标帧麦克风信号分别与各帧参考信号的相似度，包括：
21.获取所述目标帧麦克风信号分别与各帧参考信号的谱相似度；针对每一帧参考信号计算所述谱相似度的加权频点和，得到所述目标帧麦克风信号与该帧参考信号的相似度。
22.在一个实施例中，所述获取所述目标帧麦克风信号分别与各帧参考信号的谱相似度，包括：
23.获取所述目标帧麦克风信号的自相关谱，获取所述各帧参考信号各自的自相关谱，获取所述目标帧麦克风信号分别与所述各帧参考信号的互相关谱；针对每一帧参考信号，利用所述目标帧麦克风信号的自相关谱、该帧参考信号的自相关谱对所述目标帧麦克风信号与该帧参考信号的互相关谱进行归一化，得到所述目标帧麦克风信号与该帧参考信号的谱相似度。
24.第二方面，本技术还提供了一种延时估计稳态值的获取装置。所述装置包括：
25.相似度获取模块，用于获取目标帧麦克风信号分别与各帧参考信号的相似度；
26.系数确定模块，用于确定与当前信号传输阶段相适应的预设系数；
27.概率确定模块，用于将所述目标帧麦克风信号分别与各帧参考信号的相似度以及
所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；
28.帧号获取模块，用于基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；
29.稳态值得到模块，用于根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
30.第三方面，本技术还提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
31.获取目标帧麦克风信号分别与各帧参考信号的相似度；确定与当前信号传输阶段相适应的预设系数；将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
32.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
33.获取目标帧麦克风信号分别与各帧参考信号的相似度；确定与当前信号传输阶段相适应的预设系数；将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
34.上述延时估计稳态值的获取方法、装置、电子设备和存储介质，获取目标帧麦克风信号分别与各帧参考信号的相似度，确定与当前信号传输阶段相适应的预设系数，将目标帧麦克风信号分别与各帧参考信号的相似度以及预设系数输入预设延时概率确定模型，得到预设延时概率确定模型输出的各帧参考信号各自对应的延时概率；该预设延时概率确定模型用于根据目标帧麦克风信号中各帧麦克风信号各自与参考信号的相似度和对应的延
时概率权重进行加权求和得到参考信号对应的延时概率；延时概率权重基于麦克风帧号差对预设系数进行调整得到；基于各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号，根据该帧号和当前帧麦克风信号的帧号得到延时估计稳态值。该方案获取目标帧麦克风信号分别与各帧参考信号的相似度并确定与当前信号传输阶段相适应的预设系数，由预设延时概率确定模型根据各帧麦克风信号各自与参考信号的相似度及基于其对应的帧号差对预设系数调整得到的延时概率权重进行加权求和得到参考信号对应的延时概率，最后根据对应于最大延时概率的参考信号的帧号和当前帧麦克风信号的帧号得到延时估计稳态值，实现基于系数反馈的延时估计稳态值获取，无需计算延时估计瞬态值，也不需要计算延时估计瞬态值的概率分布，提高延时估计稳态值输出的速度，加快延时估计的收敛速度，缩短回声残留的时间，减小出回声的概率，改善语音房、直播连麦等应用场景下的回声消除性能。
附图说明
35.图1为本技术实施例中延时估计稳态值的获取方法的应用场景图；
36.图2为本技术的延时估计稳态值的获取方法与目前的延时估计稳态值获取方法的对比示意图；
37.图3为本技术实施例中延时估计稳态值的获取方法的流程示意图；
38.图4为本技术实施例中获取目标帧麦克风信号与参考信号的相似度的步骤的流程示意图；
39.图5为本技术实施例中获取目标帧麦克风信号与参考信号的谱相似度的步骤的流程示意图；
40.图6为本技术实施例中延时估计稳态值的获取装置的结构框图；
41.图7为本技术实施例中电子设备的内部结构图。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
43.本技术实施例提供的延时估计稳态值的获取方法，可以应用于如图1所示的应用场景中，该场景中可以包括终端110、麦克风120和扬声器130，终端110可以是个人电脑、智能手机、平板电脑和便携式可穿戴设备等。其中，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。在该场景中，用户可借助终端110、麦克风120和扬声器130与其他终端进行语音通信对话，终端110可在语音通信对话中进行延时估计和回声消除，终端110中可以包括渲染单元(render)、捕获单元(capture)、延时估计单元及回声消除单元，渲染单元(render)可根据获得的播放信号将相应的参考信号提供给延时估计单元，捕获单元(capture)可根据用户通过麦克风120录入的信号及扬声器130播放的信号得到麦克风信号并将此麦克风信号提供给延时估计单元及回声消除单元，延时估计单元可根据麦克风信号和参考信号得到对齐后的参考信号提供给回声消除单元，回声消除单元根据对齐后的参考信号和麦克风信号进行回声消除处理并输出。
44.实际应用中，本技术的延时估计稳态值的获取方法可由终端110执行，具体可以以延时估计稳态值的获取装置的形式作为终端110中延时估计单元的一部分进行延时估计稳态值的获取，用于后续对参考信号和麦克风信号进行移位对齐、回声消除等处理。
45.为清晰呈现本技术的延时估计稳态值的获取方法与目前技术中的延时估计稳态值获取方法的区别，先结合图2对两者进行对比说明，图2为本技术的延时估计稳态值的获取方法与目前的延时估计稳态值获取方法的对比示意图。
46.具体的，延时估计的目的是获取参考信号和麦克风信号之间的帧延时estdelay，然后对参考信号进行帧延时estdelay长度的移位，从而对齐麦克风信号。在目前的延时估计稳态值获取方法中，需要先根据麦克风信号及多帧参考信号求取当前帧延时估计瞬态值并将当前帧延时估计瞬态值存入大小为m的缓存队列，然后在缓存队列中积累足够多的延时估计瞬态值，然后根据缓存队列中积累的这些延时估计瞬态值求其最大概率分布，最后根据最大概率的延时估计瞬态值与当前帧麦克风信号的差值得到延时估计稳态值输出，但这样会存在延时估计稳态值输出的速度偏慢、拖慢延时估计的收敛速度及引起回声残留持续时间偏长等问题。
47.本技术的延时估计稳态值的获取方法，根据目标帧麦克风信号分别与各帧参考信号的相似度及根据信号传输阶段所反馈的预设系数，通过预设延时概率确定模型得到各帧参考信号各自对应的延时概率，由此获取对应于最大延时概率的参考信号的帧号，然后根据该对应于最大延时概率的参考信号的帧号和目标帧麦克风信号中当前帧麦克风信号的帧号获得延时估计稳态值。本技术的延时估计稳态值的获取方法，无需计算延时估计瞬态值及其概率分布，能够提高延时估计稳态值输出的速度，加快延时估计的收敛速度，缩短回声残留的时间，减小出回声的概率，改善语音房、直播连麦等应用场景下的回声消除性能。
48.以下结合实施例及相应附图对本技术的延时估计稳态值的获取方法进行说明。
49.在一个实施例中，如图3所示，提供了一种延时估计稳态值的获取方法，包括以下步骤：
50.步骤s301，获取目标帧麦克风信号分别与各帧参考信号的相似度。
51.其中，目标帧麦克风信号是用于获取延时估计稳态值所需的麦克风信号，该目标帧麦克风信号可包括当前帧麦克风信号及其前序一帧或多帧麦克风信号，称为前序帧麦克风信号，如当前帧麦克风信号的帧号为n，其前序帧麦克风信号的帧号可以包括n-1、n-2等，目标帧麦克风信号可以包括当前帧麦克风信号(帧号n)以及前序帧麦克风信号(帧号n-1)、前序帧麦克风信号(帧号n-2)等；参考信号的帧数可取n帧。本步骤中，获取目标帧麦克风信号分别与每一帧参考信号的相似度，为便于描述，以目标帧麦克风信号中当前帧麦克风信号及第i帧参考信号为例，可将该当前帧麦克风信号与第i帧参考信号的相似度表示为p
xd
(n,i)，n表示当前帧麦克风信号的帧号，x对应参考信号，d对应麦克风信号。其中，相似度可以是麦克风信号与参考信号在频谱、功率谱等特征描述维度上的相似度。
52.在一些实施例中，如图4所示，步骤s301可以包括：
53.步骤s401，获取目标帧麦克风信号分别与各帧参考信号的谱相似度。
54.本步骤中，针对每一帧参考信号，可以基于目标帧麦克风信号与该帧参考信号的互相关谱计算得到目标帧麦克风信号与该帧参考信号的谱相似度。
55.具体的，如图5所示，作为一个实施例，步骤s401具体包括：
56.步骤s501，获取目标帧麦克风信号的自相关谱，获取各帧参考信号各自的自相关谱，获取目标帧麦克风信号分别与各帧参考信号的互相关谱。
57.步骤s502，针对每一帧参考信号，利用目标帧麦克风信号的自相关谱、该帧参考信号的自相关谱对目标帧麦克风信号与该帧参考信号的互相关谱进行归一化，得到目标帧麦克风信号与该帧参考信号的谱相似度。
58.具体的，设e{a}为a的期望运算，可用n个值计算a的期望：
[0059][0060]
其中，αi是加权系数，满足：
[0061][0062]
具体的，设f(x)为时域信号x(t)经过某种信号变换之后得到的相应变换域输出信号，k表示该变换域的输出坐标，该信号变换可以但不限于傅里叶变换。例如，可以通过分频滤波器提取各频段的输出信号，将时域信号转换为所需变换域表示形式。
[0063]
本实施例中，可先计算目标帧麦克风信号及各帧参考信号的自相关谱。其中，将参考信号的变换域表示xf(i,k)存入缓存buffer并计算参考信号的自相关谱sx(i,k)存入缓存buffer：
[0064]
sx(i,k)＝e{xf(i,k)2}。
[0065]
根据目标帧麦克风信号的变换域表示df(k)计算目标帧麦克风信号的自相关谱sd(k)：
[0066]
sd(k)＝e{df(k)2}。
[0067]
计算目标帧麦克风信号与第i帧参考信号的互相关谱sxd(i,k)：
[0068]
sxd(i,k)＝e{xf(i,k)*df
*
(k)}。
[0069]
由此得到各帧参考信号的自相关谱sx(i,k)、目标帧麦克风信号的自相关谱sd(k)和目标帧麦克风信号与第i帧参考信号的互相关谱sxd(i,k)。
[0070]
然后针对每一帧参考信号，如第i帧参考信号，利用目标帧麦克风信号的自相关谱sd(k)、第i帧参考信号的自相关谱sx(i,k)对目标帧麦克风信号与该第i帧参考信号的互相关谱sxd(i,k)进行归一化，得到目标帧麦克风信号与该帧参考信号的谱相似度p
xd
(i,k)＝normalize{sxd(i,k)}。依照该第i帧的谱相似度计算方式，可以获得目标帧麦克风信号分别与每一帧参考信号的谱相似度。
[0071]
步骤s402，针对每一帧参考信号计算谱相似度的加权频点和，得到目标帧麦克风信号与该帧参考信号的相似度。
[0072]
以目标帧麦克风信号与第i帧参考信号的谱相似度p
xd
(i,k)为例，计算该目标帧麦克风信号与第i帧参考信号的谱相似度p
xd
(i,k)的加权频点和将加权频点和作为目标帧麦克风信号与该第i帧参考信号的相似度p
xd
(n,i)：
[0073]
[0074]
其中，βk是加权系数，满足：
[0075][0076]
由此可以得到目标帧麦克风信号与该第i帧参考信号的相似度p
xd
(n,i)，依照该计算方式，可以得到目标帧麦克风信号分别与各帧参考信号的相似度。
[0077]
步骤s302，确定与当前信号传输阶段相适应的预设系数。
[0078]
本步骤主要是根据当前信号传输阶段，确定与之相适应的预设系数。其中，当前信号传输阶段是指当前对延时估计稳态值的获取过程所对应的信号传输阶段或称为通话状态，实际应用中，信号传输阶段可以包括初始阶段、单讲阶段和双讲阶段。具体的，本步骤可根据渲染单元和捕获单元提供的信号传输状态信息确定当前信号传输阶段，当前信号传输阶段可以是初始阶段、单讲阶段和双讲阶段中的一种，可预先配置多个预设系数，分别对应不同的信号传输阶段，从而在确定当前信号传输阶段后，从预先配置的多个预设系数中获取与该当前信号传输阶段相适应的预设系数γ(n)，实现可根据当前信号传输阶段自适应调整预设系数。
[0079]
作为一个实施例，步骤s302可以包括：
[0080]
获取信号传输阶段与系数的预设对应关系；基于预设对应关系，获取与当前信号传输阶段相适应的预设系数。
[0081]
本实施例中，可获取相关人员预先配置的信号传输阶段与系数的预设对应关系，在确定当前信号传输阶段后，基于该预设对应关系，获取与当前信号传输阶段相适应的预设系数γ(n)。
[0082]
进一步的，在一些实施例中，上述实施例中的基于预设对应关系，获取与当前信号传输阶段相适应的预设系数，可具体包括：
[0083]
基于预设对应关系，当前信号传输阶段为初始阶段时，确定当前信号传输阶段相适应的预设系数为第一预设系数；当前信号传输阶段为单讲阶段时，确定当前信号传输阶段相适应的预设系数为第二预设系数；当前信号传输阶段为双讲阶段时，确定当前信号传输阶段相适应的预设系数为第三预设系数。
[0084]
本实施例中，基于预设对应关系，可实现根据当前信号传输阶段自适应反馈相应的预设系数。具体的，预设对应关系可以表示为：
[0085][0086]
其中，基于该预设对应关系，当前信号传输阶段为初始阶段时，确定当前信号传输阶段相适应的预设系数γ(n)为第一预设系数γ1，当前信号传输阶段为单讲阶段时，确定当前信号传输阶段相适应的预设系数γ(n)为第二预设系数γ2，当前信号传输阶段为双讲阶段时，确定当前信号传输阶段相适应的预设系数γ(n)为第三预设系数γ3。
[0087]
步骤s303，将目标帧麦克风信号分别与各帧参考信号的相似度以及预设系数输入预设延时概率确定模型，得到预设延时概率确定模型输出的各帧参考信号各自对应的延时概率。
[0088]
本步骤中，将目标帧麦克风信号分别与各帧参考信号的相似度p
xd
(n,i)以及预设系数γ(n)作为预设延时概率确定模型的输入数据，预设延时概率确定模型根据目标帧麦克风信号分别与各帧参考信号的相似度p
xd
(n,i)以及预设系数γ(n)输出各帧参考信号各自对应的延时概率prob
xd
(n,i)。其中，预设延时概率确定模型，用于根据目标帧麦克风信号中各帧麦克风信号各自与参考信号的相似度和对应的延时概率权重进行加权求和，得到参考信号对应的延时概率。其中，延时概率权重基于麦克风帧号差对预设系数进行调整得到，麦克风帧号差是指各帧麦克风信号各自与目标帧麦克风信号中当前帧麦克风信号的帧号差。
[0089]
具体的，目标帧麦克风信号可以包括当前帧麦克风信号(帧号n)和前序帧麦克风信号(帧号n-1)，对于当前帧麦克风信号，其对应的麦克风帧号差q＝0，对于该前序帧麦克风信号，其对应的麦克风帧号差q＝1，由此，预设延时概率确定模型中可根据麦克风帧号差q对预设系数γ(n)进行大小调整得到每一帧麦克风信号各自对应的延时概率权重，如可在预设系数γ(n)的基础上为麦克风帧号差q较大的麦克风信号赋予较小的延时概率权重，麦克风帧号差q可作为预设系数γ(n)的大小调节因子用于对各帧麦克风信号对应的相似度的大小的影响以影响其对应的延时概率贡献值。接着，对于每一帧参考信号，预设延时概率确定模型可根据各帧麦克风信号各自与该帧参考信号的相似度及各自对应的延时概率权重进行加权求和得到该帧参考信号对应的延时概率。照此方式，预设延时概率确定模型便可获得并输出每一帧参考信号对应的延时概率。
[0090]
进一步的，在一些实施例中，目标帧麦克风信号可以包括当前帧麦克风信号及各前序帧麦克风信号；上述步骤s303进一步包括：
[0091]
将当前帧麦克风信号分别与各帧参考信号的相似度、各前序帧麦克风信号各自分别与各帧参考信号的相似度和预设系数输入预设延时概率确定模型，得到预设延时概率确定模型输出的各帧参考信号各自对应的延时概率。
[0092]
本实施例结合当前帧麦克风信号和各前序帧麦克风信号(各前序帧麦克风信号的帧数可取n-1帧)来计算各帧参考信号各自对应的延时概率，以提高延时估计稳态值的准确性和可靠性。具体的，本实施例的预设延时概率确定模型，进一步用于确定各帧麦克风信号各自对应的麦克风帧号差，将麦克风帧号差作为预设系数的指数调整因子得到各帧麦克风信号各自对应的延时概率权重；针对每一帧参考信号，将当前帧麦克风信号与该帧参考信号的相似度、各前序帧麦克风信号各自与该帧参考信号的相似度与对应的延时概率权重相乘，得到各帧麦克风信号各自对应的延时概率贡献值；将各帧麦克风信号各自对应的延时概率贡献值求和得到该帧参考信号对应的延时概率。
[0093]
也即，在目标帧麦克风信号包含当前帧麦克风信号及其各前序帧麦克风信号的情况下，可先为每一帧麦克风信号(包括当前帧麦克风信号及其各前序帧麦克风信号)计算各自对应的延时概率权重。然后，对于每一帧参考信号对应的延时概率的计算，先根据当前帧麦克风信号与该帧参考信号的相似度、各前序帧麦克风信号各自与该帧参考信号的相似度与对应的延时概率权重相乘，得到每一帧麦克风信号各自对应的延时概率贡献值，再将该每一帧麦克风信号各自对应的延时概率贡献值求和从而得到该帧参考信号对应的延时概率。依照该帧参考信号对应的延时概率的计算方式，预设延时概率确定模型可获得各帧参考信号各自对应的延时概率。
[0094]
其中，对于每一帧麦克风信号各自对应的延时概率权重的计算，在一个实施例中，上述将麦克风帧号差作为预设系数的指数调整因子得到各帧麦克风信号各自对应的延时概率权重的步骤，具体包括：
[0095]
根据预设系数得到第一部分权重，将麦克风帧号差作为预设系数的指数调整因子得到第二部分权重；将第一部分权重与第二部分权重相乘得到延时概率权重。
[0096]
本实施例中，麦克风帧号差q作为预设系数γ(n)的指数调整因子，从而得到构成延时概率权重的第二部分权重，示例性的，第二部分权重可表达为γ(n)q。本实施例中，还根据预设系数γ(n)得到第一部分权重，示例性的，第一部分权重可表达为(1-γ(n))。然后将第一部分权重与第二部分权重相乘，得到延时概率权重为(1-γ(n))*γ(n)q。由此，麦克风帧号差q可作为预设系数γ(n)q的指数用于对各帧麦克风信号对应的相似度的大小的影响从而影响其对应的延时概率贡献值。
[0097]
本实施例中，预设延时概率确定模型可具体表示为：
[0098][0099]
其中，n对应于当前帧麦克风信号，n-q对应于与当前帧麦克风信号的帧号差为q的前序帧麦克风信号。具体的，针对每一帧麦克风信号，确定该帧麦克风信号与当前帧麦克风信号的麦克风帧号差q，根据预设系数γ(n)得到第一部分权重(1-γ(n))，将麦克风帧号差q作为预设系数γ(n)的指数调整因子得到第二部分权重γ(n)q，然后将第一部分权重(1-γ(n))与第二部分权重γ(n)q相乘，得到延时概率权重(1-γ(n))*γ(n)q。接着，根据该帧麦克风信号对应的延时概率权重(1-γ(n))*γ(n)q以及该帧麦克风信号与该帧参考信号的相似度p
xd
(n-q,i)的乘积，得到该帧麦克风信号对应的延时概率贡献值(1-γ(n))*γ(n)q*p
xd
(n-q,i)。
[0100]
由此，预设延时概率确定模型可得到目标帧麦克风信号中n帧麦克风信号各自对应的延时概率贡献值，然后预设延时概率确定模型将n帧麦克风信号各自对应的延时概率贡献值(1-γ(n))*γ(n)q*p
xd
(n-q,i)求和，得到该帧参考信号对应的延时概率prob
xd
(n,i)。按照此种方式，预设延时概率确定模型可获得并输出各帧参考信号各自对应的延时概率prob
xd
(n,i)。
[0101]
步骤s304，基于各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号。
[0102]
本步骤中，获得各帧参考信号各自对应的延时概率prob
xd
(n,i)后，根据各帧参考信号各自对应的延时概率prob
xd
(n,i)，计算对应于最大延时概率的参考信号的帧号，获取该对应于最大延时概率的参考信号的帧号，求取延时概率最大值的方式可表达为：
[0103]
步骤s305，根据对应于最大延时概率的参考信号的帧号和当前帧麦克风信号的帧号，得到延时估计稳态值。
[0104]
本步骤中，根据对应于最大延时概率的参考信号的帧号与当前帧麦克风信号的帧号n的差值，得到延时估计稳态值estdelay(n)。
[0105]
本技术提供的延时估计稳态值的获取方法，获取目标帧麦克风信号分别与各帧参考信号的相似度并确定与当前信号传输阶段相适应的预设系数，通过预设延时概率确定模型根据该相似度及预设系数输出各帧参考信号各自对应的延时概率，将对应于最大延时概率的参考信号的帧号作为延时估计稳态值，实现基于系数反馈的延时估计稳态值获取，无需计算延时估计瞬态值，也不需要计算延时估计瞬态值的概率分布，提高延时估计稳态值输出的速度，加快延时估计的收敛速度，缩短回声残留的时间，减小出回声的概率。
[0106]
本技术提供的延时估计稳态值的获取方法，可应用到网络直播中用以改善语音房、直播连麦等具体应用场景下的回声消除性能。具体的，图1所示的应用场景可具体对应到网络直播的直播连麦应用场景下，本端用户可借助终端110、麦克风120及扬声器130与远端用户进行直播连麦。直播连麦过程中，远端用户向本端用户传送的语音信号由扬声器130播放后可能会随本端用户录入的语音信号进入麦克风120并传送至远端用户而造成回声影响。对此，终端110可在网络直播中执行本技术提供的延时估计稳态值的获取方法，能够提高延时估计稳态值输出的速度，加快延时估计的收敛速度，缩短网络直播连麦中回声残留的时间，减小出回声的概率，改善直播连麦的回声消除性能，提升网络直播的用户体验。
[0107]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0108]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的延时估计稳态值的获取方法的延时估计稳态值的获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个延时估计稳态值的获取装置实施例中的具体限定可以参见上文中对于延时估计稳态值的获取方法的限定，在此不再赘述。
[0109]
在一个实施例中，如图6所示，提供了一种延时估计稳态值的获取装置，该装置600包括：
[0110]
相似度获取模块601，用于获取目标帧麦克风信号分别与各帧参考信号的相似度；
[0111]
系数确定模块602，用于确定与当前信号传输阶段相适应的预设系数；
[0112]
概率确定模块603，用于将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；
[0113]
帧号获取模块604，用于基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；
[0114]
稳态值得到模块605，用于根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
[0115]
在一个实施例中，系数确定模块602，用于获取信号传输阶段与系数的预设对应关系；基于所述预设对应关系，获取与所述当前信号传输阶段相适应的预设系数。
[0116]
在一个实施例中，系数确定模块602，用于基于所述预设对应关系，所述当前信号传输阶段为初始阶段时，确定所述当前信号传输阶段相适应的预设系数为第一预设系数；所述当前信号传输阶段为单讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第二预设系数；所述当前信号传输阶段为双讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第三预设系数。
[0117]
在一个实施例中，所述目标帧麦克风信号包括当前帧麦克风信号及各前序帧麦克风信号；概率确定模块603，用于将所述当前帧麦克风信号分别与所述各帧参考信号的相似度、各前序帧麦克风信号各自分别与所述各帧参考信号的相似度和预设系数输入所述预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于确定所述各帧麦克风信号各自对应的麦克风帧号差，将所述麦克风帧号差作为所述预设系数的指数调整因子得到所述各帧麦克风信号各自对应的延时概率权重；针对每一帧参考信号，将所述当前帧麦克风信号与该帧参考信号的相似度、各前序帧麦克风信号各自与该帧参考信号的相似度与对应的延时概率权重相乘，得到所述各帧麦克风信号各自对应的延时概率贡献值；将所述各帧麦克风信号各自对应的延时概率贡献值求和得到该帧参考信号对应的延时概率。
[0118]
在一个实施例中，所述预设延时概率确定模型，具体用于根据所述预设系数得到第一部分权重，将所述麦克风帧号差作为所述预设系数的指数调整因子得到第二部分权重；将所述第一部分权重与第二部分权重相乘得到所述延时概率权重。
[0119]
在一个实施例中，相似度获取模块601，用于获取所述目标帧麦克风信号分别与各帧参考信号的谱相似度；针对每一帧参考信号计算所述谱相似度的加权频点和，得到所述目标帧麦克风信号与该帧参考信号的相似度。
[0120]
在一个实施例中，相似度获取模块601，用于获取所述目标帧麦克风信号的自相关谱，获取所述各帧参考信号各自的自相关谱，获取所述目标帧麦克风信号分别与所述各帧参考信号的互相关谱；针对每一帧参考信号，利用所述目标帧麦克风信号的自相关谱、该帧参考信号的自相关谱对所述目标帧麦克风信号与该帧参考信号的互相关谱进行归一化，得到所述目标帧麦克风信号与该帧参考信号的谱相似度。
[0121]
上述延时估计稳态值的获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0122]
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图7所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接
口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种延时估计稳态值的获取方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0123]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0124]
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0125]
获取目标帧麦克风信号分别与各帧参考信号的相似度；确定与当前信号传输阶段相适应的预设系数；将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
[0126]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取信号传输阶段与系数的预设对应关系；基于所述预设对应关系，获取与所述当前信号传输阶段相适应的预设系数。
[0127]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于所述预设对应关系，所述当前信号传输阶段为初始阶段时，确定所述当前信号传输阶段相适应的预设系数为第一预设系数；所述当前信号传输阶段为单讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第二预设系数；所述当前信号传输阶段为双讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第三预设系数。
[0128]
在一个实施例中，所述目标帧麦克风信号包括当前帧麦克风信号及各前序帧麦克风信号；处理器执行计算机程序时还实现以下步骤：将所述当前帧麦克风信号分别与所述各帧参考信号的相似度、各前序帧麦克风信号各自分别与所述各帧参考信号的相似度和预设系数输入所述预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于确定所述各帧麦克风信号各自对应的麦克风帧号差，将所述麦克风帧号差作为所述预设系数的指数调整因子得到所述各帧麦克风信号各自对应的延时概率权重；针对每一帧参考信号，将所述当前帧麦克风信号与该帧参考信号的相似度、各前序帧麦克风信号各自与该帧参考信号的相似度与对应的延时概率权重相乘，得到所述各帧麦克风信号各自对应的延时概率贡献值；将所述各帧麦克风信号各自对应的延时概率贡献值求和得到该帧参考信号对应的延时概率。
[0129]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述预设系数
得到第一部分权重，将所述麦克风帧号差作为所述预设系数的指数调整因子得到第二部分权重；将所述第一部分权重与第二部分权重相乘得到所述延时概率权重。
[0130]
在一个实施例中，处理器执行计算机程序时还实现以下步骤获取所述目标帧麦克风信号分别与各帧参考信号的谱相似度；针对每一帧参考信号计算所述谱相似度的加权频点和，得到所述目标帧麦克风信号与该帧参考信号的相似度。
[0131]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述目标帧麦克风信号的自相关谱，获取所述各帧参考信号各自的自相关谱，获取所述目标帧麦克风信号分别与所述各帧参考信号的互相关谱；针对每一帧参考信号，利用所述目标帧麦克风信号的自相关谱、该帧参考信号的自相关谱对所述目标帧麦克风信号与该帧参考信号的互相关谱进行归一化，得到所述目标帧麦克风信号与该帧参考信号的谱相似度。
[0132]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0133]
获取目标帧麦克风信号分别与各帧参考信号的相似度；确定与当前信号传输阶段相适应的预设系数；将所述目标帧麦克风信号分别与各帧参考信号的相似度以及所述预设系数输入预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于根据所述目标帧麦克风信号中各帧麦克风信号各自与所述参考信号的相似度和对应的延时概率权重进行加权求和，得到所述参考信号对应的延时概率；所述延时概率权重基于麦克风帧号差对所述预设系数进行调整得到；所述麦克风帧号差为所述各帧麦克风信号各自与所述目标帧麦克风信号中当前帧麦克风信号的帧号差；基于所述各帧参考信号各自对应的延时概率，获取对应于最大延时概率的参考信号的帧号；根据所述对应于最大延时概率的参考信号的帧号和所述当前帧麦克风信号的帧号，得到延时估计稳态值。
[0134]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取信号传输阶段与系数的预设对应关系；基于所述预设对应关系，获取与所述当前信号传输阶段相适应的预设系数。
[0135]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于所述预设对应关系，所述当前信号传输阶段为初始阶段时，确定所述当前信号传输阶段相适应的预设系数为第一预设系数；所述当前信号传输阶段为单讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第二预设系数；所述当前信号传输阶段为双讲阶段时，确定所述当前信号传输阶段相适应的预设系数为第三预设系数。
[0136]
在一个实施例中，所述目标帧麦克风信号包括当前帧麦克风信号及各前序帧麦克风信号；计算机程序被处理器执行时还实现以下步骤：将所述当前帧麦克风信号分别与所述各帧参考信号的相似度、各前序帧麦克风信号各自分别与所述各帧参考信号的相似度和预设系数输入所述预设延时概率确定模型，得到所述预设延时概率确定模型输出的所述各帧参考信号各自对应的延时概率；其中，所述预设延时概率确定模型，用于确定所述各帧麦克风信号各自对应的麦克风帧号差，将所述麦克风帧号差作为所述预设系数的指数调整因子得到所述各帧麦克风信号各自对应的延时概率权重；针对每一帧参考信号，将所述当前帧麦克风信号与该帧参考信号的相似度、各前序帧麦克风信号各自与该帧参考信号的相似度与对应的延时概率权重相乘，得到所述各帧麦克风信号各自对应的延时概率贡献值；将
所述各帧麦克风信号各自对应的延时概率贡献值求和得到该帧参考信号对应的延时概率。
[0137]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述预设系数得到第一部分权重，将所述麦克风帧号差作为所述预设系数的指数调整因子得到第二部分权重；将所述第一部分权重与第二部分权重相乘得到所述延时概率权重。
[0138]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述目标帧麦克风信号分别与各帧参考信号的谱相似度；针对每一帧参考信号计算所述谱相似度的加权频点和，得到所述目标帧麦克风信号与该帧参考信号的相似度。
[0139]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述目标帧麦克风信号的自相关谱，获取所述各帧参考信号各自的自相关谱，获取所述目标帧麦克风信号分别与所述各帧参考信号的互相关谱；针对每一帧参考信号，利用所述目标帧麦克风信号的自相关谱、该帧参考信号的自相关谱对所述目标帧麦克风信号与该帧参考信号的互相关谱进行归一化，得到所述目标帧麦克风信号与该帧参考信号的谱相似度。
[0140]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0141]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0142]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。