网络直播音频处理方法及其装置、设备、介质、产品与流程

技术特征：
1.一种网络直播音频处理方法，其特征在于，包括如下步骤：获取直播间连线状态中的远端音频数据，将其与本机音频数据混音为外放音频数据后播放；以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，其中消除了远端音频数据的回声信号而保留本机音频数据的回声信号；将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据；向所述直播间推送包含所述混音音频数据的直播流。2.根据权利要求1所述的网络直播音频处理方法，其特征在于，获取直播间连线状态中的远端音频数据，将其与本机音频数据混音后播放，包括如下步骤：获取直播间连线状态中由服务器推送的远端直播流；从所述远端直播流中提取出其中的远端音频数据；将所述远端音频数据与本机音频数据混音获得外放音频数据；根据所述外放音频数据转换出语音信号进行播放。3.根据权利要求1所述的网络直播音频处理方法，其特征在于，以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，包括如下步骤：从本机声卡持续采集实时输入语音信号而获得实时音频数据；应用预设的自适应回声滤波算法，以所述远端音频数据为参考信号，对所述实时音频数据实施回声消除处理，以消除其中与远端音频数据相对应的回声信号；保留所述实时音频数据中与所述本机音频数据相对应的回声信号，作为所述中间音频数据。4.根据权利要求1所述的网络直播音频处理方法，其特征在于，将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据，包括如下步骤：获取本机设备相对应的环回延迟值；控制所述本地音频数据按照所述环回延迟值滞后与所述中间音频数据相混音，获得混音音频数据。5.根据权利要求4所述的网络直播音频处理方法，其特征在于，获取本机设备相对应的环回延迟值，包括如下步骤：在第一时刻向所述外放音频数据预置环回识别信号，所述环回识别信号为人耳听力频带外的高频信号，包括多个单频信号，各单频信号在频域上等间隔设置；检测所述实时音频数据中是否存在所述环回识别信号，在检出该环回识别信号时确定出第二时刻；根据所述第一时刻和第二时刻的差值确定所述环回延迟值；存储所述环回延迟值以供后续直接调用。6.根据权利要求5所述的网络直播音频处理方法，其特征在于，检测所述实时音频数据中是否存在所述环回识别信号，包括如下步骤：沿时域跟踪所述实时音频数据的噪声信号，将所述噪声信号变换至频域，获得相应的噪声能量谱数据；根据实时音频数据的语音帧相映射的语音能量谱数据，定位其中各个频点的峰值位
置；根据各个频点相对应的语音能量与噪声能量计算每个语音帧中所述环回识别信号的存在概率；在多个连续语音帧的存在概率满足预设条件时判定检测出所述环回识别信号。7.根据权利要求1至6中任意一项所述的网络直播音频处理方法，其特征在于，以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，以消除其中与远端音频数据相对应的回声信号，获得中间音频数据的步骤之前，包括如下步骤：检测本机登录的直播间用户的回声消除功能开关，当其为激活状态时，启动后续步骤，否则不予执行后续步骤。8.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。9.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项中所述方法的步骤。

技术总结
本申请涉及网络直播音频处理技术，公开一种网络直播音频处理方法及其装置、设备、介质、产品，所述方法包括：获取直播间连线状态中的远端音频数据，将其与本机音频数据混音为外放音频数据后播放；以所述远端音频数据为参考信号对本机采集的实时音频数据进行回声消除，获得中间音频数据，其中消除了远端音频数据的回声信号而保留本机音频数据的回声信号；将所述本机音频数据叠加本机环回延迟值后与所述中间音频数据混音，获得混音音频数据；向所述直播间推送包含所述混音音频数据的直播流。本申请能够有效消除网络直播过程中多人连线引起的双讲现象，并且能够有效保证通话音质，实现多个音源的声音在时域上的同步对齐。多个音源的声音在时域上的同步对齐。多个音源的声音在时域上的同步对齐。


技术研发人员：何鑫 苏嘉昌
受保护的技术使用者：广州华多网络科技有限公司
技术研发日：2021.09.28
技术公布日：2022/1/14