技术特征:
1.一种回声消除方法,所述方法包括:
接收多个待处理信号,其中,每个所述待处理信号中包含远端发送的远端信号和/或近端接收的与所述远端信号对应的第一混合信号;
根据所述多个待处理信号对应的远端信号和/或第一混合信号,以及预训练的回声消除模型,得到估计掩蔽值,根据所述估计掩蔽值确定估计近端信号;
若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号或根据其他传统模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重值之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件。
2.根据权利要求1所述的方法,其中,所述根据所述多个待处理信号对应的远端信号和/或第一混合信号,以及预训练的回声消除模型,得到估计掩蔽值,根据所述估计掩蔽值确定估计近端信号,包括:
基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选,得到纯近端信号和纯回声信号;
将所述纯近端信号和所述纯回声信号进行混合处理,得到第二混合信号;
将所述第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理,得到第一估计掩蔽值,根据第一预设处理规则对所述第一估计掩蔽值和所述第二混合信号的频谱进行处理,得到估计近端信号。
3.根据权利要求2所述的方法,其中,所述基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选,得到纯近端信号和纯回声信号,包括:
针对每个所述待处理信号,判断所述待处理信号中是否包含远端信号;
若否,则确定所述待处理信号为纯近端信号;
若是,则将所述待处理信号输入至预训练的双向通话探测网络模型中进行识别,确定所述待处理信号为纯回声信号或不可训练信号。
4.根据权利要求2所述的方法,其中,所述基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选,得到纯近端信号和纯回声信号,包括:
针对每个所述待处理信号,判断所述待处理信号中是否包含远端信号;
若否,则确定所述待处理信号为纯近端信号;
若是,则基于预设非线性回声处理规则对所述待处理信号进行处理,确定所述待处理信号对应的掩蔽值;
若所述待处理信号对应的掩蔽值为0,则所述待处理信号为纯回声信号。
5.根据权利要求2所述的方法,其中,在所述将所述纯近端信号和所述纯回声信号进行混合处理,得到第二混合信号之后,还包括:
基于预设消除规则对所述第二混合信号进行线性回声消除处理,得到残留非线性回声的第二混合信号;
则所述将所述第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理,得到第一估计掩蔽值,根据第一预设处理规则对所述第一估计掩蔽值和所述第二混合信号的频谱进行处理,得到估计近端信号,包括:
将所述残留非线性回声的第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理,得到第二估计掩蔽值,根据第二预设处理规则对所述第二估计掩蔽值和所述残留非线性回声的第二混合信号的频谱进行处理,得到估计近端信号。
6.根据权利要求5所述的方法,其中,所述基于预设消除规则对所述第二混合信号进行线性回声消除处理,得到残留非线性回声的第二混合信号,包括:
通过自适应线性滤波器对所述第二混合信号进行线性回声消除处理,得到残留非线性回声的第二混合信号,其中,所述自适应线性滤波器为最小均方自适应滤波器方法、分块延时频域自适应算法或递归最小均方滤波器。
7.根据权利要求5所述的方法,其中,所述若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件,包括:
根据所述残留非线性回声的第二混合信号以及所述纯近端信号来提取标签,确定第一目标掩蔽值;
确定所述第一目标掩蔽值以及所述第二估计掩蔽值之间的第一差值,并基于所述第一差值确定所述预训练的回声消除模型的消除准确率;
根据所述消除准确率确定所述预训练的回声消除模型是否满足预设条件;
若根据所述消除准确率确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件。
8.根据权利要求2所述的方法,其中,所述若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件,包括:
根据所述第二混合信号以及所述纯近端信号来提取标签,确定第二目标掩蔽值;
确定所述第二目标掩蔽值以及所述第一估计掩蔽值之间的第二差值,并基于所述第二差值确定所述预训练的回声消除模型的消除准确率;
根据所述消除准确率确定所述预训练的回声消除模型是否满足预设条件;
若根据所述消除准确率确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号或根据其他模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件。
9.根据权利要求7或8所述的方法,其中,所述若根据所述消除准确率确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件,包括:
若所述消除准确率不小于第一预设准确率阈值,且不大于第二预设准确率,则将所述估计近端信号发送至所述远端进行播放;
根据所述估计掩蔽值确定损失函数,再根据所述损失函数反向更新所述预训练的回声消除模型的权重值;
在所述预训练的回声消除模型的权重值更新完成之后,重新执行所述接收待处理信号及之后的步骤,直至更新后的回声消除模型的消除准确率大于所述第二预设准确率。
10.根据权利要求7或8所述的方法,其中,所述若根据所述消除准确率确定所述预训练的回声消除模型不满足预设条件,则将根据其他模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件,包括:
若所述消除准确率小于第一预设准确率阈值,则将其他传统模型估计的替代估计近端信号发送到所述远端进行播放;
根据所述估计掩蔽值确定损失函数,再根据所述损失函数反向更新所述预训练的回声消除模型的权重值;
在所述预训练的回声消除模型的权重值更新完成之后,重新执行所述接收待处理信号及之后的步骤,直至更新后的回声消除模型的消除准确率不小于所述第一预设准确率阈值,且不大于第二预设准确率。
11.根据权利要求7或8所述的方法,其中,所述方法还包括:
若所述消除准确率大于第二预设准确率阈值,则将所述估计近端信号发送至所述远端进行播放。
12.根据权利要求9所述的方法,其中,所述根据所述估计掩蔽值确定损失函数,再根据所述损失函数反向更新所述预训练的回声消除模型的权重值,包括:
确定处理设备的处理器型号;
根据所述处理器型号确定更新时间间隔以及模型更新层数;
在确定所述处理设备的处理器当前占用资源不大于预设占用资源阈值时,且达到所述更新时间间隔时,则根据所述估计掩蔽值确定损失函数,再根据所述损失函数反向更新所述预训练的回声消除模型中与所述模型更新层数对应的权重值。
13.一种回声消除装置,所述装置包括:
接收模块,用于接收多个待处理信号,其中,每个所述待处理信号中包含远端发送的远端信号和/或近端接收的与所述远端信号对应的第一混合信号;
处理模块,用于根据所述多个待处理信号对应的远端信号和/或第一混合信号,以及预训练的回声消除模型,得到估计掩蔽值,根据所述估计掩蔽值确定估计近端信号;
所述处理模块,还用于若根据所述估计掩蔽值确定所述预训练的回声消除模型不满足预设条件,则将所述估计近端信号或根据其他传统模型确定的替代估计近端信号发送至所述远端进行播放,并在根据所述估计掩蔽值更新所述预训练的回声消除模型的权重值之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足所述预设条件。
14.根据权利要求13所述的装置,其中,所述处理模块,还用于:
基于预设筛选规则对所述多个待处理信号对应的远端信号和/或第一混合信号进行筛选,得到纯近端信号和纯回声信号;
将所述纯近端信号和所述纯回声信号进行混合处理,得到第二混合信号;
将所述第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理,得到第一估计掩蔽值,根据第一预设处理规则对所述第一估计掩蔽值和所述第二混合信号的频谱进行处理,得到估计近端信号。
15.根据权利要求14所述的装置,其中,所述处理模块,还用于:
针对每个所述待处理信号,判断所述待处理信号中是否包含远端信号;
若否,则确定所述待处理信号为纯近端信号;
若是,则将所述待处理信号输入至预训练的双向通话探测网络模型中进行识别,确定所述待处理信号为纯回声信号或不可训练信号。
16.根据权利要求14所述的装置,其中,所述处理模块,还用于:
针对每个所述待处理信号,判断所述待处理信号中是否包含远端信号;
若否,则确定所述待处理信号为纯近端信号;
若是,则基于预设非线性回声处理规则对所述待处理信号进行处理,确定所述待处理信号对应的掩蔽值;
若所述待处理信号对应的掩蔽值为0,则所述待处理信号为纯回声信号。
17.根据权利要求14所述的装置,其中,所述处理模块,还用于:
基于预设消除规则对所述第二混合信号进行线性回声消除处理,得到残留非线性回声的第二混合信号;
将所述残留非线性回声的第二混合信号以及所述远端信号输入至预训练的回声消除模型中进行回声消除处理,得到第二估计掩蔽值,根据第二预设处理规则对所述第二估计掩蔽值和所述残留非线性回声的第二混合信号的频谱进行处理,得到估计近端信号。
18.一种电子设备,所述电子设备包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至12任一项所述的回声消除方法。
19.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至12任一项所述的回声消除方法。
20.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至12任一项所述的回声消除方法。
技术总结
本公开实施例提供一种回声消除方法、装置及电子设备,所述方法包括接收多个待处理信号,根据多个待处理信号对应的远端信号和/或第一混合信号,预训练的回声消除模型,得到估计掩蔽值,根据估计掩蔽值确定估计近端信号,若根据估计掩蔽值确定预训练的回声消除模型不满足预设条件,则将估计近端信号或根据其他传统模型确定的替代估计近端信号发送至远端进行播放,并在根据估计掩蔽值更新预训练的回声消除模型的权重值之后,重新执行接收多个待处理信号的步骤,直至重新训练的回声消除模型满足预设条件。本公开提高了网络模型消除回声的准确性。
技术研发人员:冷艳宏;周新权
受保护的技术使用者:北京字节跳动网络技术有限公司
技术研发日:2021.05.19
技术公布日:2021.07.13
本文用于企业家、创业者技术爱好者查询,结果仅供参考。