基于边缘网关的卫星图传视频处理方法、装置及介质与流程

本发明涉及卫星图传数据处理，尤其涉及基于边缘网关的卫星图传视频处理方法、装置及介质。

背景技术：

1、在卫星图传系统中，通过部署于一边缘网关的发送端，负责采集或接收数据采集终端采集的监控视频并将监控视频压缩后通过卫星链路上行，并由接收端接收到压缩后的监控视频再进行解压缩以复原监控视频，从而为后续数据处理提供数据支撑。然而，边缘网关在对视频数据压缩时，通常采用固定恒定码率或恒定质量因子对原始分辨率的监控视频进行标准编码：这种编码方式来说，当编码阶段保留较低码率时，编码器被迫大量量化，导致压缩后的视频数据产生明显块效应和细节丢失；相反，当编码阶段保留较高码率时，编码后的数据体积无法满足卫星短报文或分包链路的体积约束，导致数据不完整；同时，在对视频数据进行编码时，采用恒定的码率来实现，并未区分静态监控画面与高动态画面，导致静态场景保留过多冗余帧，相反动态场景又可能因码率不足产生不可解码的伪影的问题；再者，由于发送端的标准解码器输出的编码分辨率失真的画面，则需要接收端严格采用与发送端相同的解码策略的后处理，才能包括用户看到的画面清晰、块效应不明显的问题，对接收端的解码策略严格要求与发送端匹配，不利于接收端的灵活配置。

技术实现思路

1、为了克服现有技术的不足，本发明的目的之一在于提供基于边缘网关的卫星图传视频处理方法，其能够解决现有的视频在卫星图传时采用固定编码码率导致编码体积与卫星图传的体积约束无法匹配，以及编码码率无法动态适配监控视频的动静类型以及发送端的编码策略与接收端的解码策略严格匹配不利于接收端的灵活配置的问题。

2、本发明的目的之二在于提供基于边缘网关的卫星图传视频处理装置，其能够解决现有的视频在卫星图传时采用固定编码码率导致编码体积与卫星图传的体积约束无法匹配，以及编码码率无法动态适配监控视频的动静类型以及发送端的编码策略与接收端的解码策略严格匹配不利于接收端的灵活配置的问题。

3、本发明的目的之三在于提供一种计算机可读存储介质，其能够解决现有的视频在卫星图传时采用固定编码码率导致编码体积与卫星图传的体积约束无法匹配，以及编码码率无法动态适配监控视频的动静类型以及发送端的编码策略与接收端的解码策略严格匹配不利于接收端的灵活配置的问题。

4、本发明的目的之一采用以下技术方案：

5、基于边缘网关的卫星图传视频处理方法，所述卫星图传视频处理方法包括：

6、视频帧获取步骤：通过部署于第一边缘网关上的发送端获取本地监控的视频帧序列，所述视频帧序列包括多张连续的视频帧；

7、自适应抽帧步骤：通过发送端基于预设运动分析模型对所述视频帧序列进行内容运动特征分析以确定内容运动特征档位，进而根据所述内容运动特征档位对所述视频帧序列进行抽帧以得出稀疏帧序列；

8、预处理步骤：通过发送端对所述稀疏帧序列进行几何下采样处理并将其转换为编码分辨率下的帧序列，以及对编码分辨率下的帧序列进行去块处理；

9、编码步骤：通过发送端根据预设目标体积和内容运动特征档位确定标准视频文件的可变码率编码，进而根据标准视频文件的可变码率编码对去块处理后的帧序列进行编码以生成压缩视频码流，并将压缩视频码流、编码参数和帧数量封装为压缩视频码流容器，以及将压缩视频码流容器通过卫星链路上行；

10、解码步骤：通过部署于第二边缘网关的接收端获取压缩视频码流容器并对所述压缩视频码流容器进行解析以得出压缩视频码流、编码参数和帧数量，进而根据编码参数和帧数量将所述压缩视频码流进行解码以得出编码分辨率下的帧序列；

11、后处理步骤：通过接收端基于显示超分网络将编码分辨率下的帧序列中的每帧解码帧放大到预设显示倍率，以得出显示分辨率下的帧序列；

12、封装输出步骤：通过接收端将显示分辨率下的帧序列封装为可播放的视频文件后输出。

13、进一步地，所述编码步骤中得到压缩视频码流容器后还包括：判断所述压缩视频码流容器的体积是否超过预设目标体积上限，若是，则从所述压缩视频码流容器的尾部将对应视频帧依次移除，直到所述压缩视频码流容器的体积小于或等于预设目标体积上限；其中，将对应视频帧移除的同时，同步更新所述压缩视频码流容器内的帧数量。

14、进一步地，所述自适应抽帧步骤中的基于预设运动分析模型对所述视频帧序列进行内容运动特征分析以确定内容运动特征档位具体包括：

15、步骤一：计算视频帧序列中的每帧视频帧的运动强度；

16、步骤二：统计运动强度超过预设阈值的视频帧的数量，并计算该数量占总视频帧的数量的比例；

17、步骤三：根据所述比例确定视频帧序列的内容运动特征档位，进而根据所述内容运动特征档位和系统预设档位表确定有效编码帧率上限、抽帧保留帧数上限、目标体积容差带和增强配额；所述内容运动特征档位包括全静态、偏静态、均衡、偏动态和全动态；

18、步骤四：根据探针帧率对视频帧序列进行抽帧以得出抽帧序列，并根据有效编码率上限和抽帧保留帧数上限确定抽帧数量，进而根据抽帧数量和预设抽帧规则对抽帧序列进行二次稀疏化以得出稀疏帧序列；其中，根据抽帧数量和预设抽帧规则对抽帧序列进行二次稀疏化以得出稀疏帧序列具体包括：保留帧序列中最后一帧，丢弃运动强度低于预设运动阈值的视频帧，在长静止段的视频帧中，当对应视频帧的运动强度相对于前后视频帧出现局部峰值，则保留该视频帧。

19、进一步地，所述预处理步骤之前还包括：根据增强配额从稀疏帧序列中选出待增强视频帧，并对待增强视频帧进行图像增强预处理；所述图像增强预处理包括对对应视频帧执行感兴趣区域增强和非锐化掩膜锐化。

20、进一步地，所述编码步骤具体包括：步骤一：根据预设目标体积和视频有效时长得出基准字节率，并将基准字节率乘以空间复杂度系数和时间复杂度系数得出初始编码码率，然后根据初始编码码率和系统预设最低码率下限确定编码码率，继而根据编码码率确定所述标准视频文件的可变码率编码；所述编码码率为初始编码码率与系统预设最低码率下限中的最大值；

21、步骤二、根据所述内容运动特征档位确定非对称体积容差带，并根据非对称体积容差带和所述标准视频文件的可变码率编码对所述稀疏帧序列中的每帧视频帧进行编码以得出压缩视频码流，同时将编码参数和帧数量写入压缩视频码流容器的容器头内以封装为压缩视频码流容器；所述编码参数包括编码宽和高。

22、进一步地，所述后处理步骤具体包括：步骤一、通过采用第二预设去块网络对编码分辨率下的帧序列的每帧解码帧进行去块处理，以及对去块处理后的每帧解码帧进行非锐化掩膜锐化；步骤二、基于显示超分网络将锐化处理后的帧序列中的每帧解码帧进行放大至预设显示倍率，进而得出显示分辨率下的帧序列，同时还根据预设插帧规则对显示分辨率下的帧序列中的相邻视频帧进行插帧。

23、进一步地，所述解码步骤之后及放大步骤之后均包括：根据预设规则从当前帧序列中取出预设数量的解码帧进行花屏检测；以及当花屏的解码帧数量超过预设数量的解码帧时，丢弃当前帧序列；若否，则执行下一步骤；其中，判断解码帧是否花屏具体包括：首先将每个解码帧进行下采样以得出对应数量的网格块，再计算每个网格块的亮度标准差、高饱和像素占比和相邻块间差分，最后根据每个网格块的亮度标准差、高饱和像素占比和相邻网格块间的差分判断对应采样帧是否花屏；

24、根据预设规则从当前帧序列中取出预设数量的解码帧具体采用以下方式中的任意一种：从当前帧序列中选取前n个解码帧、从当前帧序列中抽取预设数量的解码帧和取当前帧序列的第一个解码帧及最后一个解码帧。

25、进一步地，所述自适应抽帧步骤之后还包括：判断所述稀疏帧序列中的视频帧是否为竖屏模式，若是，将所述稀疏帧序列中的视频帧转换为横屏模式并生成旋转标志，进而将旋转标志写入压缩视频码流容器头内；其中，当视频帧的帧高大于帧宽时，对应视频帧为竖屏模式；

26、所述解码步骤还具体包括：当压缩视频码流容器内存在旋转标志时，将编码分辨率下的帧序列中的解码帧转换为竖屏模式。

27、本发明的目的之二采用以下技术方案：

28、基于边缘网关的卫星图传视频处理装置，包括存储器和处理器，所述存储器上存储有在处理器上运行的卫星图传视频处理程序，所述卫星图传视频处理程序为计算机程序，所述处理器执行所述卫星图传视频处理程序时实现如本发明的目的之一采用的基于边缘网关的卫星图传视频处理方法的步骤。

29、本发明的目的之三采用以下技术方案：

30、一种计算机可读存储介质，其上存储有卫星图传视频处理程序，所述卫星图传视频处理程序为计算机程序，所述卫星图传视频处理程序被处理器执行时实现如本发明的目的之一采用的基于边缘网关的卫星图传视频处理方法的步骤。

31、相比现有技术，本发明的有益效果在于：

32、本发明通过在发送端以满足预设体积约束的标准视频编码对视频进行编码，专注硬体积上限内生成可传输码流；而在接收端对压缩后的视频码流进行增强并封装为通用视频文件，专注本地或远端码流恢复为可判读画面，无需将发送端与接收端对视频数据的处理采用严格的编码与解码策略；同时，本发明还基于对视频画面的动态运动特征的检测，以动态适配压缩编码码率，以解决动态场景在不超过体积上限的情况下保留更多数据，避免运动信息的丢失；以及静态场景进一步节省码率，降低卫星上行带宽的占用。