基于前向纠错的视频传输方法、设备以及存储介质与流程

摘要: 本技术涉及视频传输,尤其涉及一种基于前向纠错的视频传输方法、设备以及存储介质。背景技术:1、现有基于前向纠错的视频传输系统多采用固定比例的前向纠错编码方案,即发...
基于前向纠错的视频传输方法、设备以及存储介质与流程

本技术涉及视频传输,尤其涉及一种基于前向纠错的视频传输方法、设备以及存储介质。

背景技术:

1、现有基于前向纠错的视频传输系统多采用固定比例的前向纠错编码方案,即发送端按照预设的固定冗余比例生成冗余数据包,接收端利用冗余数据包恢复丢失的数据包。然而,在实际应用中,无线网络、移动网络或公网等弱网环境下的网络状态具有高度动态性和不确定性,丢包率可能在短时间内从较低水平急剧攀升至较高水平。固定比例的冗余配置无法适应这种剧烈的网络波动:当冗余比例设置过低时,在突发高丢包场景下纠错能力严重不足,导致大量数据包无法恢复,造成图像破损、卡顿甚至整帧解码失败;当冗余比例设置过高时,在网络状况良好的情况下又会无谓占用大量带宽资源,迫使发送端降低视频源码率以匹配可用带宽,导致全景视频的画质出现不可逆的下降。

技术实现思路

1、本技术的主要目的在于提供一种基于前向纠错的视频传输方法、设备以及存储介质,旨在解决现有固定比例前向纠错编码方法在动态弱网环境下视频传输稳定性差的技术问题。

2、为实现上述目的,本技术提出一种基于前向纠错的视频传输方法,应用于发送端,所述基于前向纠错的视频传输方法包括:

3、将原始全景视频流编码为带视觉重要性标签的数据包序列,并对所述数据包序列进行分片,得到原始数据块,其中所述视觉重要性标签基于用户视野定位信息确定;

4、基于实时网络指标确定原始数据块数以及冗余数据块数;

5、基于所述原始数据块数对所述原始数据块进行分组,并对每组所述原始数据块进行前向纠错编码,生成与所述冗余数据块数对应的冗余数据块;

6、为所述冗余数据块添加所述原始数据块对应的组标识、序列编号和所述视觉重要性标签,生成前向纠错编码组;

7、将所述前向纠错编码组发送至接收端。

8、在一实施例中,所述将原始全景视频流编码为带视觉重要性标签的数据包序列的步骤包括:

9、基于高效视频编码标准,采用预设像素尺寸的分块编码策略对所述原始全景视频流的每一帧进行分块编码,生成编码后的多个视频数据包;

10、接收头部追踪设备采集的所述用户视野定位信息,所述用户视野定位信息包括视角方向角度及视野范围参数,根据所述视角方向角度及视野范围参数计算用户当前视野覆盖的空间区域范围;

11、将编码后的每个所述视频数据包对应的块空间位置信息与所述空间区域范围进行空间映射比对,判断所述视频数据包是否落入用户当前视野覆盖的所述空间区域范围内;

12、为每个所述视频数据包添加所述视觉重要性标签,其中,若判定所述视频数据包落入所述空间区域范围内,将所述视频数据包的视觉重要性标签设置为第一值,所述第一值用于标识所述视频数据包为核心视野包;若判定所述视频数据包未落入所述空间区域范围内,将所述视频数据包的视觉重要性标签设置为第二值,所述第二值用于标识所述视频数据包为非核心视野包;

13、将添加所述视觉重要性标签后的全部所述视频数据包进行排列,形成带视觉重要性标签的所述数据包序列。

14、在一实施例中,所述基于实时网络指标确定原始数据块数以及冗余数据块数的步骤包括:

15、接收接收端反馈的网络状态信息和所述发送端的发送记录,基于所述网络状态信息和所述发送记录计算所述实时网络指标;

16、根据所述实时网络指标以及所述视觉重要性标签,动态计算前向纠错编码参数,所述前向纠错编码参数包括每组原始数据块的所述原始数据块数和每组冗余数据块的所述冗余数据块数。

17、在一实施例中,所述基于所述网络状态信息和所述发送记录计算所述实时网络指标的步骤包括:

18、解析所述网络状态信息,得到丢失数据块的块标识列表、每个数据块的接收时间戳,以及解析发送记录,得到每个数据块的发送时间戳;

19、根据所述块标识列表统计当前统计周期内的丢失数据块数量,结合所述发送记录中的当前统计周期内的发送数据块数量,将所述丢失数据块数量除以所述发送数据块数量得到当前统计周期的实时丢包率,并对连续多个预设统计周期的实时丢包率进行滑动平均计算,得到平均丢包率;

20、根据每个数据块的发送时间戳以及对应的接收时间戳,将所述接收时间戳减去所述发送时间戳得到每个数据块的传输延迟值,并计算当前统计周期内的所有数据块的所述传输延迟值的均值,得到所述当前统计周期的平均传输延迟值;

21、计算所述当前统计周期内的所有数据块的所述传输延迟值的方差,得到所述当前统计周期的网络抖动值;

22、将所述实时丢包率、所述平均丢包率、所述平均传输延迟值和所述网络抖动值作为所述实时网络指标。

23、在一实施例中,所述根据所述实时网络指标以及所述视觉重要性标签,动态计算前向纠错编码参数的步骤包括:

24、根据所述网络抖动值和所述平均传输延迟值确定当前网络的波动等级,所述波动等级包括低波动等级、中波动等级和高波动等级;

25、根据所述波动等级确定安全系数的基础值,其中,所述低波动等级对应第一基础值区间,所述中波动等级对应第二基础值区间,所述高波动等级对应第三基础值区间,且所述第一基础值区间、所述第二基础值区间和所述第三基础值区间的数值依次递增;

26、在所述视觉重要性标签为所述第一值时,将原始数据块数确定为第一数值范围,将所述安全系数的基础值与第一偏移量之和确定为安全系数;

27、在所述视觉重要性标签为所述第二值时,将原始数据块数确定为第二数值范围,将所述安全系数的基础值确定为所述安全系数;

28、将所述平均丢包率乘以所述原始数据块数乘以所述安全系数,计算得到冗余数据块数;

29、将所述原始数据块数和所述冗余数据块数作为所述前向纠错编码参数。

30、在一实施例中,所述根据所述网络抖动值和所述平均传输延迟值确定当前网络的波动等级的步骤包括:

31、当所述网络抖动值小于第一抖动阈值且所述平均传输延迟值小于第一延迟阈值时,确定当前网络为所述低波动等级,并将所述安全系数的基础值设定为所述第一基础值区间的任一数值;

32、当所述网络抖动值大于或等于所述第一抖动阈值且小于第二抖动阈值,或所述平均传输延迟值大于或等于所述第一延迟阈值且小于第二延迟阈值时,确定当前网络为所述中波动等级,并将所述安全系数的基础值设定为所述第二基础值区间的任一数值;

33、当所述网络抖动值大于或等于所述第二抖动阈值,或所述平均传输延迟值大于或等于所述第二延迟阈值时,确定当前网络为所述高波动等级,并将所述安全系数的基础值设定为所述第三基础值区间的任一数值;

34、其中,所述第一抖动阈值小于所述第二抖动阈值,所述第一延迟阈值小于所述第二延迟阈值,所述第一基础值区间的最大值小于所述第二基础值区间的最小值,所述第二基础值区间的最大值小于所述第三基础值区间的最小值。

35、在一实施例中,所述将所述前向纠错编码组发送至接收端的步骤包括:

36、遍历所述前向纠错编码组中的每个数据块,识别各所述数据块携带的视觉重要性标签,所述数据块包括原始数据块和冗余数据块;

37、在所述视觉重要性标签为第一值时,为对应的所述数据块添加用户数据报协议高优先级标识,以使网络中间节点在拥塞时优先转发所述数据块;

38、采用无阻塞发送策略,通过用户数据报协议将所述前向纠错编码组中的所有所述数据块依次发送至所述接收端;

39、记录每个数据块的发送时间戳、序列编号和所属前向纠错编码组的组标识,作为发送记录。

40、此外,为实现上述目的,本技术还提出一种基于前向纠错的视频传输方法,应用于接收端,所述基于前向纠错的视频传输方法包括:

41、接收发送端发送的前向纠错编码组,记录所述前向纠错编码组中的每个数据块的接收时间戳,并提取每个数据块的序列编号、组标识和视觉重要性标签;

42、基于各个所述数据块的序列编号和所述接收时间戳,通过序列编号缺口检测和超时检测识别丢失数据块,得到所述丢失数据块的块标识列表和所述丢失数据块对应的丢失数据块数量,所述丢失数据块为丢失的原始数据块;

43、将所述块标识列表、每个所述数据块的所述接收时间戳作为网络状态信息,发送至所述发送端;

44、若所述丢失数据块数量超过所述前向纠错编码组中冗余数据块的数量,利用所述冗余数据块恢复所述丢失数据块,得到恢复后的原始数据块;

45、按照所述组标识归集属于同一组的所述原始数据块,并按照所述序列编号将归集后的所述原始数据块还原为完整的视频编码单元。

46、此外,为实现上述目的,本技术还提出一种基于前向纠错的视频传输装置,所述基于前向纠错的视频传输装置包括:

47、视频编码分片模块,用于将原始全景视频流编码为带视觉重要性标签的数据包序列,并对所述数据包序列进行分片,得到原始数据块,其中所述视觉重要性标签基于用户视野定位信息确定;

48、纠错编码参数计算模块,用于基于实时网络指标确定原始数据块数以及冗余数据块数;

49、纠错编码模块,用于基于所述原始数据块数对所述原始数据块进行分组,并对每组所述原始数据块进行前向纠错编码,生成与所述冗余数据块数对应的冗余数据块;

50、编码组生成模块,用于为所述冗余数据块添加所述原始数据块对应的组标识、序列编号和所述视觉重要性标签,生成前向纠错编码组;

51、网络传输模块,用于将所述前向纠错编码组发送至接收端。

52、此外,为实现上述目的,本技术还提出一种基于前向纠错的视频传输设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的基于前向纠错的视频传输方法的步骤。

53、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的基于前向纠错的视频传输方法的步骤。

54、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的基于前向纠错的视频传输方法的步骤。

55、本技术提出的至少一个技术方案,至少具有以下技术效果:基于前向纠错的视频传输系统的发送端将原始全景视频流编码为带视觉重要性标签的数据包序列,区分出核心、非核心视野对应的数据包,为后续不再采用统一固定纠错参数、实现分组差异化纠错提供数据基础。接着,对数据包序列进行分片,得到原始数据块,为分组独立计算纠错参数提供规整的数据处理对象。接着,基于实时网络指标确定原始数据块数以及冗余数据块数,打破了固定比例前向纠错无法适配动态网络的根本限制,既适配动态变化的弱网条件,又对核心视野分组配置更强纠错能力,兼顾带宽开销与关键数据抗丢包能力。基于原始数据块数对原始数据块进行分组,并对每组原始数据块进行前向纠错编码,生成与冗余数据块数对应的冗余数据块,为冗余数据块添加原始数据块对应的组标识、序列编号和视觉重要性标签,生成前向纠错编码组,将前向纠错编码组发送至接收端。本技术通过反馈链路实时感知弱网动态变化,结合全景视频业务的视觉优先级,按分组动态生成适配的前向纠错编码参数并完成编码发送,根据实时网络指标以及视觉重要性标签自动调整纠错强度,使前向纠错能力随弱网波动和视频内容重要性自适应调整,解决现有固定比例前向纠错编码方法在动态弱网环境下视频传输稳定性差的技术问题,在动态弱网环境下提升视频传输的稳定性。