基于延迟分析的直播音频处理方法及系统与流程

摘要: 本发明涉及数据处理,尤其涉及一种基于延迟分析的直播音频处理方法及系统。背景技术:1、随着直播技术在娱乐、教育及远程会议等领域的快速普及,用户和平台运营商越来越重...
基于延迟分析的直播音频处理方法及系统与流程

本发明涉及数据处理,尤其涉及一种基于延迟分析的直播音频处理方法及系统。

背景技术:

1、随着直播技术在娱乐、教育及远程会议等领域的快速普及,用户和平台运营商越来越重视通过精准时延控制提升音频播放的同步性和观看体验,其中,如何降低卡顿或播放不同步成为关键技术问题。现有技术通常通过获取待处理的直播音频,采用录制设备的时间戳信息,基于固定缓冲或简单时间戳对齐方式确定播放补偿,以支持直播播放。现有解决方案在面对录制设备或协议不统一的直播音频时,因缺乏与固定背景音频相关的时间分析算法对录制时间点的精准提取以及录制与播放时间点之间的动态延迟分析,难以实现精准时延检测与自适应播放控制,导致直播播放同步性和用户体验不足,易因音频延迟未处理引发观感卡顿或音画不同步,限制了直播系统的整体播放质量与用户满意度。可见,现有技术存在缺陷,亟待解决。

技术实现思路

1、本发明所要解决的技术问题在于,提供一种基于延迟分析的直播音频处理方法及系统,能够实现直播音频的精准时延检测与自适应播放控制,提升直播播放的同步性和用户体验,降低因音频延迟未处理导致的观感卡顿或不同步。

2、为了解决上述技术问题,本发明第一方面公开了一种基于延迟分析的直播音频处理方法,所述方法包括:

3、获取待处理的直播音频;

4、确定所述直播音频对应的播放时间点;

5、基于与固定背景音频相关的时间分析算法,分析所述直播音频对应的录制时间点;

6、基于所述录制时间点和所述播放时间点之间的延迟分析,确定所述直播音频对应的播放策略;所述播放策略用于限定所述直播音频的播放速度和/或播放起始时间点。

7、作为一个可选的实施方式,在本发明第一方面中,所述确定所述直播音频对应的播放时间点,包括:

8、确定当前执行设备获取到所述直播音频的获取时间点;

9、确定所述当前执行设备与播放设备之间的传输距离;

10、根据所述获取时间点和所述传输距离,预测所述直播音频对应的播放时间点。

11、作为一个可选的实施方式,在本发明第一方面中,所述当前执行设备为执行所述方法的设备,其为设置在所述播放设备的同一区域内的边缘计算服务器。

12、作为一个可选的实施方式,在本发明第一方面中,所述根据所述获取时间点和所述传输距离,预测所述直播音频对应的播放时间点,包括:

13、基于与所述当前执行设备的历史传输记录相关的传输速度预测算法,预测所述传输距离对应的预计传输时间;

14、基于与所述当前执行设备的历史预测记录相关的计算速度预测算法,预测所述直播音频对应的预计处理时间;

15、计算所述获取时间点和所述预计传输时间和所述预计处理时间的求和,得到所述直播音频对应的播放时间点。

16、作为一个可选的实施方式,在本发明第一方面中,所述基于与固定背景音频相关的时间分析算法,分析所述直播音频对应的录制时间点,包括:

17、将所述直播音频输入至训练好的背景音频类型预测模型中,以得到所述直播音频对应的背景音频类型;所述背景音频类型包括重复播放音乐、倒计时、时钟、新闻节目和调试音中的至少一种;

18、在滤波器库中确定所述背景音频类型对应的滤波器;

19、基于所述滤波器对所述直播音频进行处理以得到背景音频;

20、基于所述背景音频,分析所述直播音频对应的录制时间点。

21、作为一个可选的实施方式,在本发明第一方面中,所述基于所述背景音频,分析所述直播音频对应的录制时间点,包括:

22、识别出所述背景音频的最后一个音峰点的峰值时间点;所述音峰点基于音强和/或频率确定得到;

23、将所述背景音频和所述峰值时间点,输入至所述背景音频类型对应的真实时间预测模型中,以得到所述峰值时间点对应的预测真实时间;

24、计算所述峰值时间点与所述直播音频的人声音频起始点之间的时间距离与所述预测真实时间的求和,以得到所述直播音频对应的录制时间点。

25、作为一个可选的实施方式,在本发明第一方面中,所述基于所述录制时间点和所述播放时间点之间的延迟分析,确定所述直播音频对应的播放策略,包括:

26、计算所述录制时间点和所述播放时间点之间的差值,得到时间延迟值;

27、判断所述时间延迟值是否大于预设的察觉时间差阈值,得到判断结果;所述察觉时间差阈值用于表征典型用户无法察觉到直播延迟的时间延迟的阈值;

28、在所述判断结果为否时,确定所述直播音频对应的播放策略为按原始播放参数播放;

29、在所述判断结果为是时,计算所述时间延迟值和所述察觉时间差阈值时间的时间差值;

30、根据所述时间差值,确定所述直播音频对应的播放策略。

31、作为一个可选的实施方式,在本发明第一方面中,所述根据所述时间差值,确定所述直播音频对应的播放策略,包括:

32、在所述时间差值大于预设的调节时间阈值时,将所述直播音频的播放起始时间点确定为实际的音频起始点延后所述时间延迟值;

33、在所述时间差值小于所述时间阈值时,将所述时间差值输入至训练好的最优处理音频时长预测模型中,以得到输出的预测处理音频时长;

34、将所述直播音频中的音频起始点沿所述预测处理音频时长覆盖的音频部分,确定为待处理音频;

35、基于预设的速度权重数学关系,计算与所述时间延迟值成反比的处理播放速度;

36、将所述直播音频的播放策略确定为在播放时将所述待处理音频以所述处理播放速度进行播放。

37、本发明实施例第二方面公开了一种基于延迟分析的直播音频处理系统,所述系统包括:

38、获取模块,用于获取待处理的直播音频;

39、第一确定模块,用于确定所述直播音频对应的播放时间点;

40、分析模块,用于基于与固定背景音频相关的时间分析算法,分析所述直播音频对应的录制时间点;

41、第二确定模块,用于基于所述录制时间点和所述播放时间点之间的延迟分析,确定所述直播音频对应的播放策略;所述播放策略用于限定所述直播音频的播放速度和/或播放起始时间点。

42、作为一个可选的实施方式,在本发明第二方面中,所述第一确定模块确定所述直播音频对应的播放时间点的具体方式,包括:

43、确定当前执行设备获取到所述直播音频的获取时间点;

44、确定所述当前执行设备与播放设备之间的传输距离;

45、根据所述获取时间点和所述传输距离,预测所述直播音频对应的播放时间点。

46、作为一个可选的实施方式,在本发明第二方面中,所述当前执行设备为执行所述方法的设备,其为设置在所述播放设备的同一区域内的边缘计算服务器。

47、作为一个可选的实施方式,在本发明第二方面中,所述第一确定模块根据所述获取时间点和所述传输距离,预测所述直播音频对应的播放时间点的具体方式,包括:

48、基于与所述当前执行设备的历史传输记录相关的传输速度预测算法,预测所述传输距离对应的预计传输时间;

49、基于与所述当前执行设备的历史预测记录相关的计算速度预测算法,预测所述直播音频对应的预计处理时间;

50、计算所述获取时间点和所述预计传输时间和所述预计处理时间的求和,得到所述直播音频对应的播放时间点。

51、作为一个可选的实施方式,在本发明第二方面中,所述分析模块基于与固定背景音频相关的时间分析算法,分析所述直播音频对应的录制时间点的具体方式,包括:

52、将所述直播音频输入至训练好的背景音频类型预测模型中,以得到所述直播音频对应的背景音频类型;所述背景音频类型包括重复播放音乐、倒计时、时钟、新闻节目和调试音中的至少一种;

53、在滤波器库中确定所述背景音频类型对应的滤波器;

54、基于所述滤波器对所述直播音频进行处理以得到背景音频;

55、基于所述背景音频,分析所述直播音频对应的录制时间点。

56、作为一个可选的实施方式,在本发明第二方面中,所述分析模块基于所述背景音频,分析所述直播音频对应的录制时间点的具体方式,包括:

57、识别出所述背景音频的最后一个音峰点的峰值时间点;所述音峰点基于音强和/或频率确定得到;

58、将所述背景音频和所述峰值时间点,输入至所述背景音频类型对应的真实时间预测模型中,以得到所述峰值时间点对应的预测真实时间;

59、计算所述峰值时间点与所述直播音频的人声音频起始点之间的时间距离与所述预测真实时间的求和,以得到所述直播音频对应的录制时间点。

60、作为一个可选的实施方式,在本发明第二方面中,所述第二确定模块基于所述录制时间点和所述播放时间点之间的延迟分析,确定所述直播音频对应的播放策略的具体方式,包括:

61、计算所述录制时间点和所述播放时间点之间的差值,得到时间延迟值;

62、判断所述时间延迟值是否大于预设的察觉时间差阈值,得到判断结果;所述察觉时间差阈值用于表征典型用户无法察觉到直播延迟的时间延迟的阈值;

63、在所述判断结果为否时,确定所述直播音频对应的播放策略为按原始播放参数播放;

64、在所述判断结果为是时,计算所述时间延迟值和所述察觉时间差阈值时间的时间差值;

65、根据所述时间差值,确定所述直播音频对应的播放策略。

66、作为一个可选的实施方式,在本发明第二方面中,所述第二确定模块根据所述时间差值,确定所述直播音频对应的播放策略的具体方式,包括:

67、在所述时间差值大于预设的调节时间阈值时,将所述直播音频的播放起始时间点确定为实际的音频起始点延后所述时间延迟值;

68、在所述时间差值小于所述时间阈值时,将所述时间差值输入至训练好的最优处理音频时长预测模型中,以得到输出的预测处理音频时长;

69、将所述直播音频中的音频起始点沿所述预测处理音频时长覆盖的音频部分,确定为待处理音频;

70、基于预设的速度权重数学关系,计算与所述时间延迟值成反比的处理播放速度;

71、将所述直播音频的播放策略确定为在播放时将所述待处理音频以所述处理播放速度进行播放。

72、本发明第三方面公开了另一种基于延迟分析的直播音频处理系统,所述系统包括:

73、存储有可执行程序代码的存储器;

74、与所述存储器耦合的处理器;

75、所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的基于延迟分析的直播音频处理方法中的部分或全部步骤。

76、本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的基于延迟分析的直播音频处理方法中的部分或全部步骤。

77、与现有技术相比,本发明实施例具有以下有益效果:

78、本发明通过获取待处理的直播音频并确定播放时间点,基于与固定背景音频相关的时间分析算法分析录制时间点,再基于录制时间点与播放时间点之间的延迟分析确定播放策略,从而能够实现直播音频的精准时延检测与自适应播放控制,提升直播播放的同步性和用户体验,降低因音频延迟未处理导致的观感卡顿或不同步。