一种林野巡护异构数据自适应压缩与时空联合封装方法

摘要: 本发明涉及林野巡护场景下的数据压缩与传输,具体为一种林野巡护异构数据自适应压缩与时空联合封装方法。背景技术:1、在林野巡护任务中,部署于前端的监测设备需要同时采...
一种林野巡护异构数据自适应压缩与时空联合封装方法

本发明涉及林野巡护场景下的数据压缩与传输,具体为一种林野巡护异构数据自适应压缩与时空联合封装方法。

背景技术:

1、在林野巡护任务中,部署于前端的监测设备需要同时采集图像或视频帧、环境传感数值以及北斗定位坐标等多类型数据,并通过无线链路回传至云端处理中心,由于林区通常缺乏稳定的宽带网络覆盖,通信链路往往存在带宽有限、动态变化的特点,链路质量会随天气、地形和终端移动等因素发生显著波动。

2、现有针对林野巡护场景的数据压缩方法多采用固定的压缩参数,无法根据链路实际可用带宽和数据类型的重要程度进行自适应调整,当带宽骤降时,简单降低所有数据的码率会导致关键目标的细节严重损失,影响后方决策的准确性,另一方面,长时间在野外部署的边缘端目标检测模型会因光照、季节、植被覆盖等环境变化而性能退化,而现行方案通常需要人工前往现场更换设备或依赖云端重传完整模型,更新效率低且成本高昂。

3、此外,多路异构数据在边缘端封装后经由同一链路发送时,缺乏有效的优先级调度机制,不同业务类型的数据具有不同的实时性要求和重要性等级,在链路拥塞发生时,传统方法难以保证高优先级数据的优先传输,容易造成关键信息的延迟或丢失,但未与压缩单元的量化策略形成闭环联动,也无法在拥塞时动态释放低优先级数据的存储空间以服务于紧急数据。

技术实现思路

1、针对现有技术的不足,本发明提供了一种林野巡护异构数据自适应压缩与时空联合封装方法,解决了现有林野巡护数据传输中,因通信带宽动态变化导致关键数据质量损失的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:本发明第一方面提供一种林野巡护异构数据自适应压缩与时空调制封装系统,包括边缘前端模块、通信链路模块和云端处理中心模块。

3、所述边缘前端模块包括数据采集单元、特征提取单元、压缩单元、封装单元和调度单元。所述数据采集单元用于接收多路异构数据,包括多媒体图像或视频帧、环境传感时序数值和北斗定位坐标。所述特征提取单元用于对接收到的图像或视频帧运行轻量化目标检测模型,提取关键目标区域并裁剪冗余背景,输出预处理后的媒体数据。所述压缩单元用于对所述预处理后的媒体数据执行离散小波变换,根据当前链路可用带宽和来自封装单元的qos优先级标签计算联合量化步长,对高频分量进行自适应量化与熵编码,输出压缩码流;所述压缩单元还用于接收来自调度单元的紧急降码率信号,当所述信号有效时对低优先级已压缩数据执行二次阈值裁剪。所述封装单元用于将压缩码流、差分编码后的传感数值序列及定位坐标封装为标准二进制帧,帧头包含时间戳、定位坐标、设备标识、qos优先级标签,帧数据载荷区末尾预留可扩展空间;封装完成后将所述qos优先级标签回传至压缩单元。所述调度单元用于维护按qos优先级标签划分的高、中、低三个优先级发送队列,采用严格优先级策略发送;所述调度单元还用于实时监测缓冲区总积压量,当所述总积压量超过阈值时向压缩单元发出紧急降码率信号,并将释放的存储空间标记为可被高优先级帧紧急占用;当带宽恢复并稳定后解除流控。

4、所述通信链路模块用于提供上行数据传输通道及下行控制指令通道,支持窄带协议与宽带协议根据信道质量动态切换。

5、所述云端处理中心模块包括解封装单元、数据分发单元和模型更新单元。所述解封装单元用于接收标准二进制帧,解析帧头获取元数据,解密并分离载荷数据,经熵解码与小波逆变换恢复近似图像及传感数值。所述数据分发单元用于将恢复后的数据通过标准化接口推送至后端联动业务模块。所述模型更新单元用于统计目标检测召回率与误报率,当低于预设值时生成增量微调参数并更新优先级影响系数,并通过下行控制指令通道发送至特征提取单元和压缩单元。

6、其中,所述联合量化步长的计算引入了优先级影响系数,该系数用于调节qos优先级标签对量化步长的贡献程度,使得高优先级帧在带宽受限时保留更多小波系数细节。所述二次阈值裁剪通过设置高于初次量化的第二阈值,在紧急降码率信号触发时进一步删除低优先级帧中的次要系数,以快速释放带宽资源。所述调度单元通过构建紧急可用空间池,将二次裁剪释放的字节数动态分配给后续高优先级帧,实现在有限带宽下对重要数据的优先保障。所述模型更新单元根据长时间统计的召回率和误报率判断模型退化,通过增量训练仅更新最后若干层权重,并将参数通过下行通道下发,实现边缘端模型的轻量级在线更新。

7、本发明第二方面提供一种林野巡护异构数据自适应压缩与时空调制封装方法,该方法基于前述系统实现,包括以下步骤:

8、s1,边缘前端模块的数据采集单元接收多路异构数据,包括多媒体图像或视频帧、环境传感时序数值、北斗定位坐标;特征提取单元对所述图像或视频帧运行轻量化目标检测模型,提取关键目标区域并裁剪冗余背景,输出预处理后的媒体数据。

9、s2,压缩单元对所述预处理后的媒体数据执行离散小波变换,根据当前链路可用带宽和来自封装单元的qos优先级标签计算联合量化步长,对高频分量进行自适应量化与熵编码,输出压缩码流;所述压缩单元还接收来自调度单元的紧急降码率信号,当所述信号有效时对低优先级已压缩数据执行二次阈值裁剪。

10、s3,封装单元将所述压缩码流、差分编码后的传感数值序列及定位坐标封装为标准二进制帧,帧头包含时间戳、定位坐标、设备标识、qos优先级标签,帧数据载荷区末尾预留可扩展空间;封装完成后将所述qos优先级标签回传至压缩单元。

11、s4,调度单元维护按qos优先级标签划分的高、中、低三个优先级发送队列,采用严格优先级策略发送;实时监测缓冲区总积压量,当所述总积压量超过阈值时向压缩单元发出紧急降码率信号,并将释放的存储空间标记为可被高优先级帧紧急占用;当带宽恢复并稳定后解除流控。

12、s5,云端处理中心模块的解封装单元接收所述标准二进制帧,解析帧头获取元数据,解密并分离载荷数据,经熵解码与小波逆变换恢复近似图像及传感数值,交付数据分发单元;模型更新单元统计目标检测召回率与误报率,当低于预设值时生成增量微调参数并更新优先级影响系数,通过下行控制指令通道发送至特征提取单元和压缩单元。

13、在步骤s2中,所述联合量化步长的计算基于基础量化步长、参考带宽、当前链路可用带宽、优先级影响系数以及qos优先级标签。所述优先级影响系数用于调节qos优先级标签对量化步长的贡献程度,初始值由云端预设并可在后续更新。所述二次阈值裁剪的具体过程为:当紧急降码率信号有效时,压缩单元扫描临时缓冲区中qos优先级标签低于或等于2的已压缩码流,将其中小波系数的绝对值小于第二阈值(所述第二阈值大于自适应量化使用的第一阈值)的系数置零,然后重新进行熵编码,得到缩短后的码流。

14、在步骤s3中,所述标准二进制帧的帧头固定为64字节,包含时间戳、北斗定位坐标、设备标识、qos优先级标签、载荷长度、预留空间字段及帧头crc校验;数据载荷区包含压缩码流、环境传感时序差分编码序列以及北斗坐标冗余校验值;校验加密区包含crc32和aes-128加密的数据指纹。所述帧数据载荷区末尾的可扩展空间的大小根据调度单元反馈的当前缓冲区总积压量动态调整,采用基础预留空间加上调节系数与当前总积压量的乘积作为实际预留空间,且该值被限制在最大允许积压量以内。

15、在步骤s4中,所述将释放的存储空间标记为可被高优先级帧紧急占用,具体包括:调度单元将二次裁剪后释放的空间计入紧急可用空间池;当高优先级帧进入队列时,若其帧头中的预留空间不足,则从所述紧急可用空间池中划拨额外字节,并更新对应帧头中的载荷长度与预留空间标识。所述解除流控的条件为:通信链路模块报告的可用带宽回升至预设高阈值且持续时间超过预设保持时间,此时调度单元向压缩单元发送解除紧急降码率信号,清空紧急可用空间池。

16、在步骤s5中,所述模型更新单元统计目标检测召回率与误报率,具体包括:设定统计窗口,将解封装单元恢复的图像与云端存储的标注真值进行比对,统计真正例、假负例、假正例的数量,分别计算召回率与误报率;当召回率低于目标召回率下限或误报率高于目标误报率上限时,判定边缘前端模块中的轻量化目标检测模型退化,触发增量训练。所述生成增量微调参数并更新优先级影响系数,具体包括:模型更新单元从云端存储的标注样本库中调取与该边缘设备相关的标注样本,对轻量化目标检测模型的最后若干层权重进行增量训练,提取新权重与旧权重的差值作为增量微调参数;同时根据场景复杂度指标按照线性映射计算新的优先级影响系数,所述线性映射以基准系数为起点,以调节幅度乘以当前场景复杂度与预设上限的比值为增量,结果被限制在0至1区间内。

17、本发明提供了一种林野巡护异构数据自适应压缩与时空联合封装方法。具备以下有益效果:

18、1、本发明通过引入qos优先级标签和优先级影响系数,使压缩单元在量化步长计算中动态区分不同业务类型的数据,高优先级帧在带宽受限时获得更小的量化步长,保留更多小波系数细节,从而在低码率条件下仍能维持较高的重建质量,避免了传统方法对所有数据采用统一压缩参数导致的关键信息丢失问题。

19、2、本发明通过设置二次阈值裁剪和紧急可用空间池,使调度单元在缓冲区积压超过阈值时能够快速释放低优先级数据占用的存储空间,并将释放的字节数动态分配给后续到达的高优先级帧,该方法在不增加物理带宽的前提下实现了流量的即时调节,缓解了链路拥塞对紧急数据传输的影响,同时保证了高优先级帧的完整发送。

20、3、本发明通过云端模型更新单元统计边缘设备上传数据的召回率与误报率,在检测性能退化时通过下行通道下发增量微调参数和优先级影响系数,实现对边缘端轻量化模型的在线更新,该过程仅调整模型最后若干层权重,传输开销低,且优先级影响系数的自适应调整使压缩策略随场景复杂度变化,避免了边缘端模型离线部署后长期无法更新的问题。