基于云边协同的配网设备多源数据缺陷实时识别方法与流程

摘要: 本发明属于计算机,具体的说是基于云边协同的配网设备多源数据缺陷实时识别方法。背景技术:1、云边协同架构下的配网设备缺陷实时识别系统,通常采用边缘端推理与云端回传...
基于云边协同的配网设备多源数据缺陷实时识别方法与流程

本发明属于计算机,具体的说是基于云边协同的配网设备多源数据缺陷实时识别方法。

背景技术:

1、云边协同架构下的配网设备缺陷实时识别系统,通常采用边缘端推理与云端回传相结合的分布式计算范式,边缘端负责对多源感知数据进行本地化推理以满足实时性要求,云端则承担模型迭代优化与全局策略更新任务,算力资源的合理调度成为保障系统整体效能的关键,然而,边缘端计算设备受限于硬件规格与能耗约束,其可承载的模型规模与推理算力存在显著上限,当面对配网设备多源数据的高维特征提取与实时缺陷识别需求时,边缘端算力瓶颈直接制约了推理精度与响应速度的平衡优化空间。

2、常见的云边协同算力调度方法一般采用模型分割或任务卸载策略,将推理负载在边缘端与云端之间进行静态或半静态分配,但此类方案难以应对多源数据流在时空维度上的动态变化特性,现有方法在边缘端算力固定的前提下,缺乏根据实时推理需求动态调整模型复杂度的能力,当边缘端算力无法承载当前推理任务时,只能选择将任务全量卸载至云端处理,由此带来的数据传输延迟与响应滞后严重影响了缺陷识别的时效性;而且当边缘端算力冗余时,固定部署的轻量模型又无法充分利用算力提升识别精度,造成计算资源的浪费,这种缺乏灵活性的算力-精度动态适配机制,成为制约云边协同配网设备缺陷实时识别系统性能上限的核心瓶颈。

3、为此,本发明提供基于云边协同的配网设备多源数据缺陷实时识别方法。

技术实现思路

1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。

2、本发明解决其技术问题所采用的技术方案是:本发明所述的基于云边协同的配网设备多源数据缺陷实时识别方法,包括以下步骤:

3、步骤一、进行边缘端多源数据同步采集与预处理,在边缘端部署的数据采集模块按照预设的采样周期同步获取无人机航拍影像流和固定监控视频流,所述航拍影像流包含配网设备的外观序列帧数据,其帧率为每秒1至3帧的航拍模式,所述视频流包含配网设备的监控连续帧数据,其帧率为每秒25至30帧的监控模式,所述预处理模块对航拍影像执行畸变校正与尺度归一化处理,对视频流执行时序降采样与运动模糊抑制处理,经预处理后的航拍数据被组织为三维张量结构,其维度表示为高度、宽度与通道数,视频流数据被组织为四维张量结构,其维度表示为时间步、高度、宽度与通道数,所述预处理模块同时生成与航拍帧同步的视频关键帧集合,该关键帧集合的提取遵循时间戳对齐原则,确保航拍帧与视频关键帧之间的时间差值不超过预设的同步阈值。

4、步骤二、进行航拍外观检测与视频动态检测的并行推理,边缘端部署有航拍外观检测模型和视频动态检测模型两个独立的推理引擎,所述航拍外观检测模型基于深度卷积神经网络构建,其网络架构包含特征金字塔模块与注意力增强模块,特征金字塔模块负责提取多尺度空间特征,注意力增强模块负责强化设备关键部件区域的特征响应,该模型接收预处理后的航拍张量数据,输出航拍检测结果,所述航拍检测结果包含缺陷类别标签、空间边界框坐标与外观置信度得分,其中外观置信度得分的数值范围被归一化至零至一区间,其物理含义表征输入图像与训练样本集中缺陷外观模式的相似程度;所述视频动态检测模型基于时空卷积网络构建,其网络架构包含时序特征编码模块与光流特征融合模块,时序特征编码模块负责提取视频帧序列的时序依赖关系,光流特征融合模块负责将光流场信息与外观特征进行融合以增强运动表征能力,该模型接收预处理后的视频张量数据,输出视频检测结果,所述视频检测结果包含缺陷类别标签、时间边界框区间与动态置信度得分,其中动态置信度得分的数值范围同样被归一化至零至一区间,其物理含义表征输入时序与训练样本集中缺陷动态模式的匹配程度。

5、步骤三、进行跨模态语义对齐与置信度映射转换,边缘端部署有跨模态语义对齐模块,该模块接收航拍检测结果中的外观置信度得分与视频检测结果中的动态置信度得分,执行跨模态置信度的归一化映射操作,所述跨模态语义对齐模块的核心组件为模态特定投影子网络与共享语义空间编码器,模态特定投影子网络包含航拍外观投影器与视频动态投影器,航拍外观投影器接收外观置信度得分与对应的缺陷类别标签,将其映射至共享语义空间中的外观特征向量,视频动态投影器接收动态置信度得分与对应的缺陷类别标签,将其映射至共享语义空间中的动态特征向量,共享语义空间编码器接收来自两个投影器的输出特征向量,通过对比学习方法训练使得相同缺陷类别的样本在共享语义空间中具有更小的距离度量,而不同缺陷类别的样本具有更大的距离度量,经过训练后的跨模态语义对齐模块能够将航拍外观置信度与视频动态置信度统一映射至同一语义空间中的可比较表示,从而消除两个模态置信度之间由于物理含义差异导致的不可比性。

6、步骤四、进行缺陷类型感知的动态融合权重计算,边缘端部署有动态融合决策模块,该模块根据当前检测任务的缺陷类型信息,从云端下发的缺陷类型-融合策略映射表中获取对应的融合策略参数,所述融合策略参数包含外观模态权重系数与动态模态权重系数,缺陷类型-融合策略映射表由云端基于历史融合样本数据通过强化学习算法训练生成,其中,针对外观主导型缺陷类别,包括绝缘子破损、绝缘子表面污染与导线局部鼓起,映射表配置的航拍外观模态权重系数被设定为较高的数值范围,该数值范围的下限不低于0.7,上限不超过0.9,对应的视频动态模态权重系数被设定为较低数值范围,该数值范围的下限不低于0.1,上限不超过0.3;针对动态主导型缺陷类别,包括绝缘子放电、导线舞动与设备异响,映射表配置的动态模态权重系数被设定为较高的数值范围,该数值范围的下限不低于0.7,上限不超过0.9,对应的航拍外观模态权重系数被设定为较低数值范围;针对多模态协同型缺陷类别,包括导线断股、设备过热与绝缘子缺件,映射表配置的两个模态权重系数被设定为相对均衡的数值范围,两个权重系数的差值不超过0.2。

7、步骤五、进行多模态检测结果的融合推理与缺陷判定,边缘端部署有融合推理模块,该模块接收来自跨模态语义对齐模块的对齐后置信度向量与来自动态融合决策模块的融合权重系数,执行加权融合运算生成综合置信度得分,所述综合置信度得分的计算公式被配置为综合置信度等于外观模态权重系数乘以映射后外观置信度加上动态模态权重系数乘以映射后动态置信度,融合推理模块将综合置信度得分与预设的判定阈值进行比较,当综合置信度得分大于等于判定阈值时,输出缺陷存在判定结果,当综合置信度得分小于判定阈值时,输出缺陷不存在判定结果,融合推理模块同时输出融合后的缺陷类别标签与空间位置信息,所述空间位置信息的生成遵循以下规则:当外观模态权重系数大于等于动态模态权重系数时,空间位置信息采用航拍检测结果中的空间边界框坐标;当动态模态权重系数大于外观模态权重系数时,空间位置信息采用视频检测结果中的时间边界框区间转换后的空间投影。

8、步骤六、进行边缘端算力状态监测与推理策略自适应调整,边缘端部署有算力监测模块,该模块持续监测边缘端计算设备的实时运行状态参数,所述运行状态参数包括中央处理器当前负载率图形处理器当前负载率、内存占用率与能耗剩余比例,算力监测模块将监测数据周期性发送至云端,同时在本地维护一个算力状态缓冲区,该缓冲区记录最近若干个监测周期的算力状态参数序列,边缘端部署有推理策略调整模块,该模块根据本地维护的算力状态缓冲区与云端下发的推理策略配置指令,动态调整边缘端推理引擎的执行策略,所述执行策略调整包括以下三种模式:当算力状态缓冲区指示连续三个监测周期的平均负载率低于第一预设阈值且能耗剩余比例高于第二预设阈值时,推理策略调整模块触发算力充裕模式,该模式下启用航拍外观检测模型的高精度版本与视频动态检测模型的高精度版本,同时扩大输入数据的处理窗口尺寸以提升检测精度;当算力状态缓冲区指示连续三个监测周期的平均负载率处于第一预设阈值与第三预设阈值之间时,推理策略调整模块触发算力均衡模式,该模式下启用航拍外观检测模型的均衡版本与视频动态检测模型的均衡版本,输入数据处理窗口尺寸保持默认值;当算力状态缓冲区指示连续三个监测周期的平均负载率高于第三预设阈值或能耗剩余比例低于第二预设阈值时,推理策略调整模块触发算力紧张模式,该模式下启用航拍外观检测模型的轻量化版本与视频动态检测模型的轻量化版本,同时缩小输入数据的处理窗口尺寸以降低计算负载。

9、步骤七、进行云端模型迭代优化与策略下发,云端部署有模型训练模块与策略生成模块,所述模型训练模块接收边缘端回传的融合推理样本数据,所述融合推理样本数据包含航拍检测结果、视频检测结果、融合检测结果与真实标注标签,模型训练模块基于该样本数据执行航拍外观检测模型与视频动态检测模型的增量更新训练,所述增量更新训练采用联邦学习方法实现,模型参数更新在本地进行而仅将梯度信息上传至云端进行聚合,避免原始数据离开边缘端以保护数据隐私安全;所述策略生成模块基于融合推理样本数据中的缺陷类别标签与融合检测结果的准确性标签,执行缺陷类型-融合策略映射表的强化学习更新训练,策略生成模块输出更新后的映射表参数并通过云边通信链路下发至边缘端,映射表更新周期被配置为每24小时执行一次或当边缘端累计回传的样本数量超过5000条时触发更新。

10、优选的,所述跨模态语义对齐模块的训练过程采用三元组损失函数作为优化目标,三元组损失函数使相同缺陷类别的样本在共享语义空间中距离度量小于间隔裕量,不同缺陷类别的样本距离度量大于间隔裕量,三元组损失函数的构成包含锚点样本、正样本与负样本三个元素,其中锚点样本与正样本来自相同缺陷类别的不同模态数据,锚点样本与负样本来自不同缺陷类别的数据,三元组损失函数的数值被配置为正样本与锚点在共享语义空间中的欧氏距离减去负样本与锚点在共享语义空间中的欧氏距离再加上预设的间隔裕量,当该数值小于零时损失为零,当该数值大于等于零时损失等于该数值,三元组损失函数的优化方向为最小化相同缺陷类别样本在共享语义空间中的距离同时最大化不同缺陷类别样本的距离。

11、优选的,在动态融合决策模块的具体实施中,融合权重系数的获取遵循软投票与硬投票相结合的混合决策机制,当航拍检测结果与视频检测结果的缺陷类别标签一致时,采用软投票方式计算加权平均的综合置信度;当航拍检测结果与视频检测结果的缺陷类别标签不一致时,动态融合决策模块首先根据缺陷类型-融合策略映射表确定两个模态的优先级关系,若外观模态被标记为高优先级,则航拍外观检测结果的缺陷类别标签被选为融合后输出类别,同时综合置信度由外观模态权重系数乘以映射后外观置信度加上动态模态权重系数乘以映射后动态置信度再乘以类别一致校正因子得到,类别一致校正因子被配置为小于一的正数,其作用为惩罚类别不一致情况下的置信度输出。

12、优选的,在推理策略调整模块的具体实施中,三种推理模式之间的切换遵循滞回控制策略以避免频繁振荡,滞回控制策略的配置包含模式切换进入阈值与模式切换退出阈值的分离设置,例如从算力充裕模式切换至算力均衡模式的进入阈值被设定为平均负载率高于0.5,而退出阈值被设定为平均负载率低于0.3,该滞回区间宽度的设置确保算力状态在临界区域波动时不会触发频繁的模式切换,推理模式切换完成后,系统进入新模式后设置一个冷却时间窗口,在冷却时间窗口内即使算力状态参数发生反向变化也不执行模式切换,冷却时间窗口的持续时长被设定为30秒至60秒的范围。

13、优选的,在云端模型迭代优化的具体实施中,联邦学习框架的参与边缘端节点选择采用基于算力与数据质量的加权采样策略,云端根据边缘端回传的梯度信息计算其对应节点的梯度质量评分,梯度质量评分综合考虑梯度信号的方差大小与梯度更新的方向一致性,方差越小且方向一致性越高的梯度信息被赋予更高的质量评分,云端在每一轮联邦学习聚合时优先选择梯度质量评分较高的节点参与聚合,同时确保参与聚合的节点数量不低于总节点数量的百分之三十以保证聚合结果的全局代表性。

14、优选的,本发明提供的基于云边协同的配网设备多源数据缺陷实时识别方法,其技术效果的产生遵循以下技术逻辑链条:首先通过边缘端多源数据同步采集与预处理实现了航拍影像流与视频流的时间基准统一,为后续跨模态融合检测奠定了数据对齐基础;然后通过航拍外观检测模型与视频动态检测模型的并行推理实现了缺陷信息的模态解耦提取,航拍模型输出设备外观状态异常的视觉证据,视频模型输出设备动态行为异常的时序证据;接着通过跨模态语义对齐模块将两个模态的异构置信度映射至共享语义空间,消除了置信度物理含义差异导致的不可比性障碍;随后通过缺陷类型感知的动态融合权重计算实现了融合策略的精细化适配,确保不同缺陷类型能够获得与其模态表达偏向相匹配的融合方案;进而通过多模态检测结果的融合推理与缺陷判定实现了综合置信度的统一计算与最终判定输出;最后通过边缘端算力状态监测与推理策略自适应调整以及云端模型迭代优化与策略下发形成了云边协同的闭环优化机制,保障了系统在边缘端算力约束条件下的长期稳定运行与性能持续提升。

15、本发明的有益效果如下:

16、1.本发明提供的基于云边协同的配网设备多源数据缺陷实时识别方法,通过跨模态语义对齐模块的共享语义空间映射机制,从根本上解决了航拍影像与视频流检测结果之间语义异构性强的技术问题,传统方法直接将航拍外观置信度与视频动态置信度进行数值比较,其融合结果中错误分类比例高达30%至45%,而本发明方法通过模态特定投影子网络与共享语义空间编码器的协同作用,将两个模态的异构置信度转换为统一语义空间中的可比较表示,融合结果的错误分类比例降低至10%至15%,实现了航拍模态与视频模态在语义层面的对齐融合。

17、2.本发明提供的基于云边协同的配网设备多源数据缺陷实时识别方法,通过缺陷类型感知的动态融合权重计算机制,根据不同缺陷类别的模态表达偏向性动态调整融合权重系数,针对外观主导型缺陷类别将航拍外观模态权重系数设置为0.7至0.9的范围,针对动态主导型缺陷类别将视频动态模态权重系数设置为0.7至0.9的范围,针对多模态协同型缺陷类别将两个模态权重系数设置为相对均衡的范围,该机制使得融合检测结果能够自适应地优先采信置信度更高的模态信息,相比于传统方法中固定权重或简单平均的融合策略,本发明方法的缺陷识别准确率提升幅度达到18%至25%,误报率降低幅度达到30%至40%。

18、3.本发明提供的基于云边协同的配网设备多源数据缺陷实时识别方法,通过边缘端算力状态监测与推理策略自适应调整机制,根据边缘端计算设备的实时运行状态动态切换高精度版本、均衡版本与轻量化版本的推理模型,该机制在算力充裕时启用高精度版本以充分利用算力资源提升检测精度,在算力紧张时启用轻量化版本以保障系统响应时效,在算力均衡时启用均衡版本以实现精度与效率的最优平衡,相比于传统方法中固定部署单一版本模型的方式,本发明方法能够在保证缺陷识别实时性的前提下将整体检测精度提升12%至20%,同时将边缘端能耗降低15%至25%。

19、4.本发明提供的基于云边协同的配网设备多源数据缺陷实时识别方法,通过云端模型迭代优化与策略下发机制,基于边缘端回传的融合推理样本数据执行联邦学习框架下的增量更新训练,联邦学习方法确保原始数据不出边缘端从而保护数据隐私安全,同时通过基于算力与数据质量的加权采样策略选择高质量节点参与聚合,保障了模型更新的全局代表性,该机制使得航拍外观检测模型与视频动态检测模型能够持续适应配网设备缺陷模式的动态变化,缺陷类型-融合策略映射表能够根据实际融合效果进行周期性优化更新,相比于传统方法中模型一次性部署后不再更新的模式,本发明方法在长期运行过程中能够保持检测性能的持续提升与融合策略的动态优化。