基于VCM的轻量化语义像素联合编码方法及系统及计算机可读介质与流程

本发明属于视频编码与计算机视觉智能感知，具体涉及一种基于vcm的轻量化语义像素联合编码方法及系统。

背景技术：

1、随着智能电网全景巡检技术的快速普及，无人机巡检、机器人巡检、在线监控终端等设备产生的电力巡检视频数据呈爆发式增长。视频编码压缩作为电力视频传输、存储、智能分析的核心前置技术，直接决定电网运维感知精度、视频溯源保真度与带宽传输效率。现有主流视频编码技术多为通用型编码框架，面向民用视频场景设计，在电力专属复杂场景下存在显著技术短板，无法适配电网巡检“高精度感知、高保真溯源、低带宽传输”的多元化业务需求，具体局限性体现在以下三个方面：

2、1）通用编码模型电力场景适配性差，核心目标特征提取能力不足

3、现有视频编码方法多采用固定结构的特征提取网络与统一编码策略，未针对电力巡检场景专属特征优化。电力巡检画面存在显著的场景特殊性，包含细长导线、点状绝缘子、不规则线路异物、大面积背景植被、天空冗余区域等差异化特征，通用模型无法有效区分电力核心设备目标与背景冗余信息，存在关键缺陷特征易丢失、异形目标特征提取不完整、背景无效特征过度编码的问题，导致编码后电力缺陷识别、设备状态感知精度大幅下降，难以支撑电网智能运维感知任务。

4、2）编码模式单一，无法兼顾智能感知与人工溯源双重需求

5、当前电力视频编码技术普遍采用单一流编码架构，仅能实现单一维度的视频压缩输出。若侧重码率压缩效率，会大量丢失设备细节纹理、边缘特征，无法满足人工故障溯源复核的高保真需求；若侧重视频重建画质，则编码码率大幅提升，占用大量传输带宽，导致偏远巡检区域低带宽场景传输时延高、卡顿严重。单一编码模式无法适配电力业务“机器智能感知、人工精准溯源”的双向应用场景，业务适配性极差。

6、3）优化约束维度单一，多核心性能指标无法均衡最优。

7、现有视频编码模型的损失优化函数多聚焦于像素重建误差或单一画质指标，仅能实现视频画质的单一维度优化。而电力巡检视频编码存在感知精度、重建保真度、码率开销三大相互制约的核心指标，传统单一约束方式无法实现多指标协同均衡优化，极易出现“画质达标但缺陷漏检、感知精准但码率过高”的技术矛盾，难以满足规模化、常态化、高精度的智能电网巡检业务需求。

技术实现思路

1、针对上述电力视频编码技术场景适配性差、编码模式单一、多性能指标无法均衡优化的技术痛点。本发明提出一种基于vcm（video coding for machines，面向机器视觉的视频编码）的轻量化语义像素联合编码方法及系统，通过仿视网膜双引导注意力增强机制强化电力核心目标特征，搭建语义-像素双分支并行编码架构适配双重业务需求，构建三元协同约束损失函数实现多指标均衡优化，有效解决现有技术存在的诸多缺陷。

2、本发明的技术方案：一种基于vcm的轻量化语义像素联合编码方法，包括模型离线训练收敛流程、巡检视频在线编码流程：

3、（1）模型离线训练收敛流程：构建标注完整的电力巡检数据集并预处理，搭建包含仿视网膜双引导注意力增强模块、语义流表征模块、像素流表征模块的vcm编码网络；构建感知-重建-码率三元协同约束损失函数，将标准化电力视频帧输入网络前向执行特征增强、双分支编码以得到双流码流，计算三元协同约束总损失，通过反向传播迭代更新网络全部参数，直至模型感知精度、重建保真度、码率开销多性能指标均衡收敛，保存最优编码模型；

4、（2）巡检视频在线编码流程：

5、步骤1：实时采集电力巡检视频流，逐帧读取时序视频图像，完成尺寸标准化、像素归一化与噪声过滤处理，剔除黑屏、过曝、严重模糊的无效异常帧，经以上预处理后生成标准化视频帧；

6、步骤2：基于仿视网膜双引导注意力增强机制处理标准化视频帧，通过轻量化骨干网络提取标准化视频帧的多尺度基础特征，融合图像视觉显著性特征与电力设备专属roi掩码特征，生成自适应注意力权重矩阵，完成电力核心目标特征增强与背景冗余特征抑制，得到注意力增强特征；

7、步骤3：采用语义-像素双分支并行vcm编码框架对注意力增强特征同步处理，将注意力增强特征分别输入语义流表征模块与像素流表征模块；通过语义流表征模块内置的多尺度上下文增强模块提纯语义表征特征，经维度压缩与自适应量化生成轻量化语义码流；通过像素流表征模块对注意力增强特征进行图像重建，经轻量化编码与量化处理生成高保真像素码流；

8、步骤4：自适应传输码流，根据现场网络带宽切换单码流或双码流加密传输，低带宽环境仅下发语义码流，带宽充足时同步下发语义码流与像素码流。

9、优选的，所述三元协同约束损失函数，采用多目标联合优化损失模型，打破传统编码单一画质、单一精度的局限，针对性平衡电力智能感知精度、视频重建保真度、编码传输码率开销三大相互制约的核心指标，整体总损失计算公式为：

10、，式中，为模型端到端迭代总损失；为电力感知任务损失，用于约束电力设备缺陷检测、状态识别精度；为像素重建损失，用于约束视频帧像素细节与结构还原质量；为双流协同比特率约束损失，用于管控语义流、像素流编码传输带宽开销；为可动态调节的自适应权重平衡系数。结合电力业务“感知优先、画质为辅、极致控速”的核心需求，优选取值，优先保障电力缺陷检测与设备识别精度，兼顾视频重建效果与低码率压缩性能。

11、优选的，所述融合缺陷检测与设备状态分类双任务约束，计算公式为：，式中，为导线缺陷专属组合损失，融合ciou边界框回归损失与交叉熵分类损失，约束细微缺陷的定位与识别精度，为绝缘子状态专属分类损失，采用交叉熵损失函数，约束分类准确度，适配电力设备差异化感知任务，、为、的权重系数，优选，优先侧重缺陷检测精度优化。

12、优选的，所述兼顾像素精度与结构完整性的双重约束损失分支，计算公式为：，式中，为均方误差损失，用于约束原始视频帧与重建视频帧的像素灰度偏差；为结构相似度指标，用于约束电力设备边缘、纹理、轮廓的一致性；、为、的权重系数，优选，实现像素误差与结构约束均衡优化。

13、优选的，所述为适配电力低带宽场景的码率优化分支，计算公式为：，式中，为语义流实时平均编码比特率，为像素流实时平均编码比特率，、为、的权重系数，优选、，优先压缩轻量化语义流码率，保障常态化巡检低时延传输。通过双码率协同约束，在保障业务性能的前提下极致削减传输带宽占用，适配低带宽巡检场景。

14、优选的，巡检视频在线编码流程的步骤2中所述仿视网膜双引导注意力增强机制的具体实现过程为：

15、采用resnet-50网络前四层卷积模块作为多尺度基础特征提取单元，剔除冗余全连接层与全局池化层，保留浅层纹理与深层语义特征提取能力，对输入标准化视频帧提取多尺度基础特征，特征提取计算公式为：，其中，为输入电力巡检视频帧，为输出的多尺度基础特征图，特征图尺寸为原始图像的1/16，特征通道数设为2048；

16、同时结合efficientnet-b4网络生成512×512像素级电力场景显著性图，精准标注画面高关注区域；采用mask r-cnn模型分割目标，包含导线、绝缘子、线路异物、杆塔，生成电力设备二值roi掩码图；融合双引导约束信号生成自适应注意力权重矩阵，特征加权增强公式：，其中，⊙为逐通道广播乘法操作，为电力目标权重调节系数，取值范围0.5～2.0，优选取值1.0，为显著性图，为roi掩码图，为注意力增强特征图，实现电力核心特征强化、背景冗余自适应抑制。

17、优选的，巡检视频在线编码流程的步骤3中所述语义流表征模块为面向电力智能推理的语义表征分支，采用改良的多尺度空洞空间金字塔池化模块；针对传统aspp模块固定空洞率、感受野单一、电力异形目标适配性差的固有缺陷，配置多组梯度式自适应感受野组合，适配电力细长导线、点状绝缘子、不规则线路异物的多尺度异形特征，多尺度特征融合计算方式为：，其中，、、为3种自适应空洞卷积，分别针对电力细长导线、点状绝缘子、不规则异物优化空洞间隔权重，为全局池化运算，适配电力稀疏语义分布；为优化的多分支特征拼接融合策略；为多分支特征通道压缩卷积操作；为提纯后的精细化电力语义特征，有效解决通用模型对电力异形目标特征提取不完整、上下文关联捕捉薄弱的技术短板。

18、优选的，步骤3中所述像素流表征模块为面向电力人工溯源复核的高保真表征分支，采用“图像重建-残差计算-显著性调制-轻量化编码”四级递进式处理逻辑：

19、首先通过多层反卷积解码器对最终注意力增强特征图进行上采样重建，得到与原始视频帧尺寸一致的重建视频帧；其次计算精细化像素残差，剥离基础语义冗余，仅保留高频缺陷细节，残差计算公式为：，再结合显著性图逐像素调制残差特征，差异化强化电力目标区域细节、弱化背景冗余，调制公式为：，其中，为逐像素乘法操作，为初始像素残差特征；为优化后精细化残差图；最后将输入三层串联轻量化卷积模块，结合自适应非均匀量化模块完成编码压缩，像素码流生成公式为：，其中，为量化后的像素码流，为轻量化卷积编码模块，为动态步长自适应量化模块，兼顾电力设备细节保留与低码率压缩需求，生成高保真像素码流。

20、本发明编码方法可全覆盖电网全场景运维感知任务需求，包括输电导线断股、磨损、破损缺陷检测，绝缘子开裂、污损、老化、缺失状态识别，输电线路漂浮异物遮挡检测，杆塔倾斜偏移监测，变压器渗漏破损故障识别，配电设备异常状态评估中的任意一种或多种组合任务。

21、基于同一发明构思，一种基于vcm的轻量化语义像素联合编码系统，用于实现前述的编码方法，所述系统包括：一个或多个处理器、可读存储装置、视频采集终端、网络传输模块；

22、所述可读存储装置用于存储可被处理器执行的计算机程序，以及电力检测模型参数、aspp模块特征配置参数、注意力权重参数、编码量化参数与训练配置参数；所述视频采集终端用于实时采集电力巡检时序视频流，完成前置降噪与异常帧筛选；所述网络传输模块用于自适应切换单/双码流传输模式，实现语义码流与像素码流加密传输；所述处理器执行计算机程序时，实现视频预处理、仿视网膜注意力增强、aspp多尺度特征提纯、语义-像素双分支差异化表征编码、多目标联合优化、场景自适应部署的流程。

23、本发明的有益效果在于：本发明针对电力巡检视频专属场景痛点，创新设计仿视网膜双引导注意力增强机制，解决了通用模型电力核心特征提取不充分、背景干扰严重的问题；搭建语义-像素双分支并行编码架构，同时满足机器智能感知与人工溯源复核双重业务需求；创新构建三元协同约束损失函数，突破传统编码单指标优化局限，实现感知精度、重建保真度、码率开销的均衡最优，大幅提升电力视频编码的场景适配性与工程实用性，为智能电网全景巡检视频传输与智能分析提供核心技术支撑。