一种视频流自适应压缩方法及系统与流程

摘要: 本技术涉及视频处理,特别是涉及一种视频流自适应压缩方法及系统。背景技术:1、随着数字媒体技术和网络通信技术的发展,视频数据被广泛应用于视频监控、在线直播、远程交...
一种视频流自适应压缩方法及系统与流程

本技术涉及视频处理,特别是涉及一种视频流自适应压缩方法及系统。

背景技术:

1、随着数字媒体技术和网络通信技术的发展,视频数据被广泛应用于视频监控、在线直播、远程交互、工业生产以及多媒体信息服务等场景。相较于文本、图像等数据,视频流由大量连续视频帧构成,具有数据规模大、时间连续性强以及内容变化复杂等特点。特别是在高清化和超高清化的发展趋势下,视频流对网络带宽、存储容量和计算资源的占用不断增加,因此,通常需要对视频流进行压缩处理,以降低视频数据的传输和存储开销。

2、现有视频流压缩方法通常通过消除视频帧内部以及相邻视频帧之间的冗余信息减少视频数据量,并可以按照预设码率、预设帧率或者视频内容的局部变化情况调整压缩参数。然而,视频流中不同时间段的场景复杂程度、运动状态和有效信息密度往往存在差异,采用相对固定的压缩方式时,难以兼顾不同视频片段的处理需求。即使部分方法能够根据已获取的视频帧调整压缩参数,其参数调整通常依赖有限范围内的视频特征,当视频内容发生连续变化或者局部突变时,容易出现压缩程度与实际内容不匹配的情况,进而造成带宽和存储资源利用率较低,或者使具有较高信息价值的视频内容发生细节损失。同时,视频流中关键信息的表现形式具有多样性,仅依据单一的图像变化或者运动特征进行处理,也可能难以准确区分不同视频内容的重要程度。

3、因此,在视频流压缩处理中,视频内容变化的动态性较强、压缩参数与不同视频片段之间的适配性不足以及数据压缩程度与关键信息保留效果难以兼顾,成为亟需解决的问题。

技术实现思路

1、本技术提供一种视频流自适应压缩方法及系统,旨在解决现有技术在视频流压缩处理中,视频内容变化的动态性较强、压缩参数与不同视频片段之间的适配性不足以及数据压缩程度与关键信息保留效果难以兼顾的问题。

2、第一方面,一种视频流自适应压缩方法,所述方法包括:

3、获取待处理视频流,并基于所述待处理视频流的当前处理位置,确定当前视频片段以及位于所述当前视频片段之后的前瞻视频区间;

4、从所述前瞻视频区间中采样至少一个前瞻采样帧,提取各所述前瞻采样帧的前瞻性特征,并根据各所述前瞻采样帧的时序位置及对应的前瞻性特征构建前瞻特征集;

5、对所述当前视频片段中的视频帧进行帧融合,得到所述当前视频片段对应的代表帧,并提取所述代表帧的当前状态特征;

6、根据所述当前视频片段的时序位置,从所述前瞻特征集中确定目标前瞻性特征,对所述当前状态特征与所述目标前瞻性特征进行特征融合,得到策略输入特征;

7、将所述策略输入特征输入策略网络,得到下一视频片段对应的目标融合帧数;

8、根据所述目标融合帧数,从所述当前视频片段之后的视频流中确定所述下一视频片段,并对所述下一视频片段中的视频帧进行帧融合,得到所述下一视频片段对应的代表帧;

9、将所述下一视频片段作为新的当前视频片段,迭代执行当前状态特征提取、目标前瞻性特征确定、目标融合帧数确定以及视频帧融合的步骤,得到各后续视频片段对应的代表帧;

10、按照各视频片段的时序顺序组织各视频片段对应的代表帧,生成压缩视频流。

11、上述方案中,可选地,所述从所述前瞻视频区间中采样至少一个前瞻采样帧,包括:

12、根据所述前瞻视频区间的起始时序位置和结束时序位置,从所述待处理视频流中确定候选帧序列;

13、根据所述候选帧序列对应的时序范围,按照预设时间间隔、随机采样规则或基于内容复杂度的采样规则,确定至少一个采样时序位置,得到采样位置集合;

14、从所述候选帧序列中提取与所述采样位置集合中的各采样时序位置对应的视频帧,得到所述前瞻采样帧。

15、上述方案中,可选地,所述提取各所述前瞻采样帧的前瞻性特征,并根据各所述前瞻采样帧的时序位置及对应的前瞻性特征构建前瞻特征集,包括:

16、将各所述前瞻采样帧分别输入特征提取器,提取各所述前瞻采样帧的视觉特征或语义特征,得到各所述前瞻采样帧对应的前瞻性特征;

17、将各所述前瞻性特征分别与对应的前瞻采样帧的时序位置进行关联,得到多个前瞻特征条目;

18、按照各所述前瞻特征条目对应的时序位置,对多个所述前瞻特征条目进行时序组织,得到所述前瞻特征集;

19、当所述当前处理位置达到预设更新位置时,基于更新后的当前处理位置确定更新后的前瞻视频区间,从所述更新后的前瞻视频区间中采样补充前瞻采样帧,得到补充前瞻性特征;

20、从所述前瞻特征集中删除时序位置不晚于所述更新后的当前处理位置的前瞻特征条目,并将所述补充前瞻性特征及其时序位置添加至所述前瞻特征集,得到更新后的前瞻特征集。

21、上述方案中,可选地,所述对所述当前视频片段中的视频帧进行帧融合,得到所述当前视频片段对应的代表帧,包括:

22、获取所述当前视频片段中各视频帧对应的像素数据,得到待融合像素数据集合;

23、根据各所述视频帧的帧序位置、内容相似度或帧重要程度,确定各所述视频帧对应的融合权重;

24、根据各所述视频帧对应的融合权重,对各所述视频帧中对应像素位置的像素值进行加权融合,得到融合像素数据;

25、根据所述融合像素数据生成所述当前视频片段对应的代表帧。

26、上述方案中,可选地,所述根据各所述视频帧的内容相似度确定各所述视频帧对应的融合权重,包括:

27、分别提取所述当前视频片段中各视频帧的帧级表征特征,得到帧级表征特征集合;

28、对所述帧级表征特征集合中的帧级表征特征进行聚合处理,得到所述当前视频片段对应的片段聚合特征;

29、分别确定各所述帧级表征特征与所述片段聚合特征之间的关联程度,得到各所述视频帧对应的内容关联值;

30、将各所述内容关联值输入注意力权重生成模型,并对所述注意力权重生成模型的输出进行归一化处理,得到各所述视频帧对应的归一化注意力权重;

31、将各所述归一化注意力权重确定为对应视频帧的融合权重。

32、上述方案中,可选地,所述根据所述当前视频片段的时序位置,从所述前瞻特征集中确定目标前瞻性特征,包括:

33、根据所述当前视频片段的结束时序位置,确定所述当前视频片段对应的参考时序位置;

34、从所述前瞻特征集中筛选时序位置晚于所述参考时序位置的前瞻特征条目,得到候选前瞻特征条目集合;

35、分别确定所述候选前瞻特征条目集合中各候选前瞻特征条目的时序位置与所述参考时序位置之间的时序距离,得到各所述候选前瞻特征条目对应的时序距离;

36、从所述候选前瞻特征条目集合中确定对应时序距离最小的目标前瞻特征条目,并将所述目标前瞻特征条目所包含的前瞻性特征确定为所述目标前瞻性特征。

37、上述方案中,可选地,所述对所述当前状态特征与所述目标前瞻性特征进行特征融合,得到策略输入特征,并将所述策略输入特征输入策略网络,得到下一视频片段对应的目标融合帧数,包括:

38、对所述当前状态特征与所述目标前瞻性特征进行特征拼接,得到所述策略输入特征;

39、将所述策略输入特征输入所述策略网络,得到融合帧数决策结果;

40、根据所述融合帧数决策结果,从预设融合帧数候选集合中确定目标候选融合帧数;

41、将所述目标候选融合帧数确定为所述下一视频片段对应的目标融合帧数。

42、上述方案中,可选地,所述策略网络包括前馈神经网络、循环神经网络或transformer网络中的至少一种,所述根据所述融合帧数决策结果,从预设融合帧数候选集合中确定目标候选融合帧数,包括:

43、通过所述策略网络对所述策略输入特征进行特征编码,得到策略决策表征;

44、将所述策略决策表征分别映射至所述预设融合帧数候选集合中的各候选融合帧数,得到各所述候选融合帧数对应的决策值;

45、对各所述候选融合帧数对应的决策值进行比较,得到最大决策值;

46、将所述最大决策值对应的候选融合帧数确定为所述目标候选融合帧数。

47、上述方案中,可选地,还包括:

48、获取用于确定各视频片段的片段融合帧数,其中,初始视频片段对应的片段融合帧数为预设初始融合帧数,所述初始视频片段之后的各视频片段对应的片段融合帧数为前一处理周期输出的目标融合帧数;

49、根据各所述视频片段对应的片段融合帧数与预设重要性映射关系,确定各所述视频片段对应的片段重要性分数,其中,所述片段重要性分数与对应的片段融合帧数负相关;

50、将各所述视频片段对应的片段重要性分数赋予对应视频片段中的原始视频帧,得到各所述原始视频帧对应的帧重要性分数;

51、根据各所述帧重要性分数对所述待处理视频流中的原始视频帧进行排序,得到视频帧排序结果;

52、根据所述视频帧排序结果选取预设数量的目标视频帧,并按照各所述目标视频帧在所述待处理视频流中的原始时序位置,对各所述目标视频帧进行时序组织,生成浓缩视频。

53、第二方面,一种视频流自适应压缩系统,所述系统包括:

54、视频流处理模块,用于获取待处理视频流,并基于所述待处理视频流的当前处理位置,确定当前视频片段以及位于所述当前视频片段之后的前瞻视频区间;

55、前瞻特征构建模块,用于从所述前瞻视频区间中采样至少一个前瞻采样帧,提取各所述前瞻采样帧的前瞻性特征,并根据各所述前瞻采样帧的时序位置及对应的前瞻性特征构建前瞻特征集;

56、动态帧融合与特征提取模块,用于对所述当前视频片段中的视频帧进行帧融合,得到所述当前视频片段对应的代表帧,并提取所述代表帧的当前状态特征;

57、策略特征生成模块,用于根据所述当前视频片段的时序位置,从所述前瞻特征集中确定目标前瞻性特征,并对所述当前状态特征与所述目标前瞻性特征进行特征融合,得到策略输入特征;

58、策略决策模块,用于将所述策略输入特征输入策略网络,得到下一视频片段对应的目标融合帧数;

59、自适应压缩控制模块,用于根据所述目标融合帧数,从所述当前视频片段之后的视频流中确定所述下一视频片段,将所述下一视频片段作为新的当前视频片段,并控制所述动态帧融合与特征提取模块、所述策略特征生成模块和所述策略决策模块迭代运行,得到各后续视频片段对应的代表帧;

60、压缩视频生成模块,用于按照各视频片段的时序顺序组织各视频片段对应的代表帧,生成压缩视频流。

61、相比现有技术,本技术至少具有以下有益效果:

62、本技术基于对现有技术问题的进一步分析和研究,认识到在视频流压缩处理中,视频内容变化的动态性较强、压缩参数与不同视频片段之间的适配性不足以及数据压缩程度与关键信息保留效果难以兼顾,通过基于待处理视频流的当前处理位置确定当前视频片段及其后的前瞻视频区间,从前瞻视频区间采样前瞻采样帧并构建前瞻特征集,使压缩决策不仅能够反映当前视频内容,还能够获得后续视频内容的前瞻性信息;通过对当前视频片段中的视频帧进行帧融合得到代表帧并提取当前状态特征,再根据当前视频片段的时序位置从前瞻特征集中确定目标前瞻性特征,使当前内容状态与时序相关的后续内容特征形成对应关系;通过将当前状态特征与目标前瞻性特征融合后输入策略网络,使策略网络能够依据当前视频内容及其后续变化趋势确定下一视频片段对应的目标融合帧数,进而利用目标融合帧数动态确定下一视频片段所包含的视频帧数量,并通过迭代处理使不同视频片段采用与其内容变化相适配的帧融合程度,由此在视频内容变化较小的时段通过增加融合帧数减少代表帧数量,在视频内容变化较大或信息价值较高的时段通过减小融合帧数保留更多时间细节,最终按照时序组织各视频片段的代表帧生成压缩视频流,从而提高压缩参数与不同视频片段之间的适配性,在降低视频流数据量以及带宽和存储资源占用的同时,减少重要视频内容的细节损失,实现视频数据压缩程度与关键信息保留效果的兼顾。