基于时域-空域重要性分析的窄带宽视频传输方法及系统与流程

本发明涉及视频编码，具体而言，涉及一种基于时域-空域重要性分析的窄带宽视频传输方法及系统。

背景技术：

1、随着卫星通信、边缘计算和视频监控技术的发展，野外巡检、海事监测、灾害预警以及无人值守设备逐渐采用卫星链路回传视频或图像数据。现有传输过程通常由采集终端获取视频帧或静态图像，对采集数据进行目标检测、图像裁剪和压缩编码，再根据卫星通信协议允许的单次数据承载量将编码数据拆分为多个数据包，通过卫星链路发送至后台服务器。后台服务器按照数据包携带的图像标识和分片序号完成数据重组，并对校验失败或者未接收的数据包执行补发处理。

2、现有技术中，公开号为cn120897038a的中国发明专利申请公开了一种适用于地球静止轨道卫星的图像传输方法及系统，通过确定目标边缘坐标对采集图像进行裁剪，对裁剪后的图像进行编码和动态分片，并在接收端完成分片重组，发送端根据丢失分片清单重新发送相应分片。根据该处理方式，在连续采集视频的情况下，各时刻画面主要以独立图像进行处理，当监控场景在一段时间内仅发生轻微变化时，内容近似的画面仍可能被重复裁剪、编码和发送，容易持续占用容量有限的卫星链路，使突发目标或者明显场景变化对应的画面不能及时得到传输；同时，在部分分片未被接收时，根据丢失清单统一执行补发，没有考虑不同缺失内容对目标辨认和场景判断的影响，可能使与主要观察内容关联较低的数据反复占用补发资源，增加有效画面的恢复时间。

3、因此，有必要设计一种基于时域-空域重要性分析的窄带宽视频传输方法及系统用以解决当前技术中存在的问题。

技术实现思路

1、鉴于此，本发明提出了一种基于时域-空域重要性分析的窄带宽视频传输方法及系统，旨在解决窄带视频传输过程中相似画面重复占用有限通信容量，以及分片缺失后无差别补发导致关键画面恢复延迟的问题。

2、本发明提出了一种基于时域-空域重要性分析的窄带宽视频传输方法，包括：

3、获取连续视频帧、带宽等级和单报文载荷上限；

4、比较相邻帧获得帧间变化量，对视频帧进行目标检测获得目标覆盖量和目标置信度；根据所述帧间变化量和所述目标覆盖量确定帧重要度，将达到所述带宽等级对应筛选阈值的视频帧确定为关键帧；

5、将所述关键帧划分为图像块，根据图像块的纹理熵和覆盖目标的目标置信度，将所述图像块归入核心区域、过渡区域或背景区域；

6、将关键帧的区域数据作为传输单元，按照核心区域、过渡区域和背景区域的顺序排列，同类区域内按关键帧的帧重要度降序排列；根据所述带宽等级确定各类区域数据的压缩程度，形成待发送数据序列；

7、基于所述单报文载荷上限对所述待发送数据序列分片封装；接收端基于各分片携带的信息重组关键帧，根据同帧相邻区域和相邻关键帧补全缺失的过渡区域或背景区域，对缺失的核心区域生成定向重传请求并重传对应分片。

8、进一步地，获得所述帧间变化量、目标覆盖量和目标置信度时，包括：

9、将相邻视频帧转换为灰度图像，计算对应像素灰度差绝对值的平均值并归一化，获得所述帧间变化量；识别视频帧中的目标区域，将各目标区域并集面积占视频帧面积的比例确定为所述目标覆盖量，并将目标检测结果携带的置信度确定为所述目标置信度。

10、进一步地，确定所述关键帧时，包括：

11、按照变化权重和目标权重，对归一化后的所述帧间变化量和所述目标覆盖量进行加权求和，获得所述帧重要度；为各带宽等级分别设置筛选阈值，带宽等级对应的可用带宽越低，所述筛选阈值越高。

12、进一步地，获得图像块的纹理熵和覆盖目标的目标置信度时，包括：

13、以16×16像素为基础尺寸划分所述关键帧，根据图像块内像素的灰度分布计算所述纹理熵；根据目标区域与图像块的重叠关系，将重叠目标的目标置信度关联至所述图像块，图像块与多个目标重叠时，取其中最高的目标置信度。

14、进一步地，将所述图像块归入核心区域、过渡区域或背景区域时，包括：

15、将覆盖目标且目标置信度达到第一置信度阈值的图像块归入核心区域；将目标置信度达到第二置信度阈值但未达到所述第一置信度阈值的图像块，以及与核心区域相邻且纹理熵达到纹理阈值的图像块归入过渡区域；将其余图像块归入背景区域；所述第一置信度阈值大于所述第二置信度阈值。

16、进一步地，形成所述待发送数据序列时，包括：

17、依次排列核心区域、过渡区域和背景区域的区域数据，同类区域数据按照所属关键帧的帧重要度降序排列；同一关键帧内的核心区域按照目标置信度降序排列，过渡区域和背景区域按照纹理熵降序排列；为各带宽等级分别设置三类区域数据的压缩程度，核心区域的压缩程度低于过渡区域，过渡区域的压缩程度低于背景区域。

18、进一步地，对所述待发送数据序列分片封装时，包括：

19、根据所述单报文载荷上限与报文头长度的差值确定分片数据长度，将各区域数据划分为多个分片；为各分片添加帧编号、区域标识、区域类型、分片序号、分片总数和校验码，并按照所述待发送数据序列的排列顺序发送各分片。

20、进一步地，补全缺失的过渡区域或背景区域时，包括：

21、接收端按照帧编号和区域标识归集各分片，根据分片序号、分片总数和校验码识别缺失分片；缺失分片属于背景区域时，根据同帧相邻背景区域的纹理特征生成修复数据；缺失分片属于过渡区域时，根据同帧相邻区域以及已重组的相邻关键帧中位置对应区域的图像信息生成修复数据。

22、进一步地，对缺失的核心区域进行定向重传时，包括：

23、接收端根据核心区域缺失分片的帧编号、区域标识和分片序号生成所述定向重传请求；

24、发送端根据所述定向重传请求，从发送缓存中提取由所述帧编号、所述区域标识和所述分片序号共同标识的目标分片，并重新发送所述目标分片；

25、接收端将所述目标分片写入由所述帧编号和所述区域标识共同确定的核心区域，并根据所述校验码进行校验。

26、与现有技术相比，本发明的有益效果在于：通过将相邻帧的帧间变化量与目标覆盖量结合确定帧重要度，并根据带宽等级设置筛选阈值，使画面变化明显或包含目标信息的视频帧优先进入传输流程，减少静态画面和相似画面对有限通信容量的重复占用。将关键帧划分为图像块后，根据纹理熵和目标置信度区分核心区域、过渡区域和背景区域，并按照区域类型、帧重要度及带宽等级确定传输顺序和压缩程度，使有限带宽优先承载核心区域及高重要度关键帧的数据。接收端对缺失的过渡区域和背景区域利用同帧相邻区域及相邻关键帧进行补全，仅对缺失的核心区域发起定向重传，避免各类缺失分片均采用无差别补发方式，减少重复传输数据量，并缩短核心画面的恢复等待时间，提高窄带宽条件下关键视频内容的传输和重组效率。

27、另一方面，本技术还提供了一种基于时域-空域重要性分析的窄带宽视频传输系统，用于应用上述基于时域-空域重要性分析的窄带宽视频传输方法，包括：

28、数据获取单元，用于获取连续视频帧、带宽等级和单报文载荷上限；

29、关键筛选单元，用于比较相邻帧获得帧间变化量，对视频帧进行目标检测获得目标覆盖量和目标置信度；根据所述帧间变化量和所述目标覆盖量确定帧重要度，将达到所述带宽等级对应筛选阈值的视频帧确定为关键帧；

30、区域划分单元，用于将所述关键帧划分为图像块，根据图像块的纹理熵和覆盖目标的目标置信度，将所述图像块归入核心区域、过渡区域或背景区域；

31、序列生成单元，用于将关键帧的区域数据作为传输单元，按照核心区域、过渡区域和背景区域的顺序排列，同类区域内按关键帧的帧重要度降序排列；根据所述带宽等级确定各类区域数据的压缩程度，形成待发送数据序列；

32、分片处理单元，用于基于所述单报文载荷上限对所述待发送数据序列分片封装；接收端基于各分片携带的信息重组关键帧，根据同帧相邻区域和相邻关键帧补全缺失的过渡区域或背景区域，对缺失的核心区域生成定向重传请求并重传对应分片。

33、可以理解的是，上述基于时域-空域重要性分析的窄带宽视频传输方法及系统具备相同的有益效果，在此不再赘述。