一种输电线路监测方法及装置与流程

本发明涉及输电线路监测，具体涉及一种输电线路监测方法及装置。

背景技术：

1、输变电线路作为电力传输的关键基础设施，架设环境复杂多变，常受高空环境干扰，易引发诸如导线断裂、绝缘子破损、异物附着等故障。传统巡检方式主要依赖人工目视或单一类型传感器采集输变电线路图像进行分析，难以兼顾全天候监测的实时性与准确性。因此，需要一种新的技术方案，通过统一编码多种模态的不同视觉与语言信息，并引入智能交叉关注机制，提高系统在复杂环境下的检测、诊断和跟踪性能。

2、现有输变电线路检测系统多采用可见光摄像机、红外热像仪或激光雷达等单一模态设备进行观测，但各类传感器都有自身局限：可见光摄像机分辨率高但易受光照变化影响，红外热像仪对高温故障敏感但空间分辨率较低，激光雷达提供三维空间信息但受雨雪雾霾等恶劣天气影响较大。此外，不同模态数据存在时间同步和空间对准的挑战，多模态信息直接融合时容易引入冗余噪声或信息丢失，限制了联合分析的效果。

3、已有技术尝试引入多模态融合来提高监测性能。例如，通过简单叠加可见光与红外图像来增强故障特征，但多局限于双模态融合与像素级对齐，缺乏统一的跨模态协同机制。此外，目前大多数方法侧重于单一任务或单一目标，如仅关注异常导线的热源检测或静态图像的目标分割，缺乏对检测、预警和跟踪等多任务的综合考虑，系统整体效率和响应能力均有待提升。同时，现有研究较少利用巡检过程中的深度信息或语义信息，例如故障描述、巡检指令等语言提示尚未被充分整合到监测模型中，从而限制了系统针对复杂场景下任务需求的准确理解与执行。综上所述，现有技术在多模态数据的高效融合、实时处理和多任务协同方面存在明显不足，难以适应输变电线路监测中多场景、多环境的复杂要求。

技术实现思路

1、本发明提供了一种输电线路监测方法及装置，以解决现有技术在多模态数据的高效融合、实时处理和多任务协同方面存在明显不足，难以适应输变电线路监测中多场景、多环境的复杂要求的问题。

2、第一方面，本发明提供了一种输电线路监测方法，所述方法包括：

3、获取输电线路的多个模态数据，并将各所述模态数据叠加附属嵌入信息，生成多模态词元并输入预设的特征融合模型；

4、基于所述特征融合模型的输入文本序列的各词元，构建角色增强语言词元，并将输电巡检术语叠加至所述角色增强语言词元，生成句级任务向量；

5、通过所述句级任务向量对所述多模态词元进行筛选并叠加空间位置、时间位置及模态位置，生成带有位置编码的多模态词元；

6、对带有位置编码的多模态词元执行模态内自注意力计算，提取对应的单模态特征，并根据局部可靠性得分从所有所述单模态特征中筛选出高置信度特征；

7、对各模态的高置信度特征进行跨模态融合，并采用门控机制对跨模态融合结果进行优化；

8、整合单模态自注意力结果及门控优化后的跨模态融合特征，得到全局融合特征图。

9、本发明融合多模态感知与语言语义引导，依托特征融合模型完成全流程处理。通过文本语义生成任务向量，实现视觉词元精准筛选；结合模态内自注意力、跨模态门控融合机制，搭配局部可靠性筛选有效特征。本发明充分发挥不同模态数据的互补优势，抑制噪声与无效信息，强化跨模态特征关联，提升复杂环境下输电线路监测的精度与鲁棒性，可稳定输出高质量全局融合特征图。

10、在一种可选的实施方式中，所述获取输电线路的多个模态数据，并将各所述模态数据叠加附属嵌入信息，生成多模态词元并输入预设的特征融合模型，包括：

11、获取输电线路的多个模态数据；其中，所述模态数据包括图像模态、点云模态及电场信号模态；

12、对各所述模态数据进行预处理；

13、基于预处理后的图像模态，构建缺陷引导图并融合所述图像模态对应的初始图像；

14、对融合后的图像执行分离式补丁嵌入处理，得到图像词元；

15、以预处理后的点云模态对应的点云数据设为点集，根据预设目标距离确定体素边长；

16、结合所述体素边长和体素统计向量提取所述点集的特征，得到点云词元；

17、采用时域与频域双分支编码，对预处理后的电场信号模态进行编码，得到电场信号词元；

18、将所述图像词元、所述点云词元和所述电场信号词元分别叠加附属嵌入信息，生成多模态词元并输入预设的特征融合模型；其中，所述附属嵌入信息包括质量感知模态标识嵌入、位置嵌入及局部可靠性嵌入。

19、本发明针对图像、点云、电场三类模态数据采用差异化特征提取方式，结合缺陷引导、体素化、时频双分支编码生成各类词元。叠加质量、位置、局部可靠性等附属嵌入信息，可区分模态来源与数据质量，保留各模态独有细节，避免早期融合造成信息丢失与干扰。

20、在一种可选的实施方式中，所述基于所述特征融合模型的输入文本序列的各词元，构建角色增强语言词元，并将输电巡检术语叠加至所述角色增强语言词元，生成句级任务向量，包括：

21、获取所述特征融合模型的输入文本序列；

22、按照语义标签对所述输入文本序列中的各词元添加角色标签，构建角色增强语言词元；

23、基于软注意力机制，将输电巡检术语融合至所述角色增强语言词元并进行任务语义池化处理，得到句级任务向量。

24、本发明对文本词元添加角色标签实现细粒度语义区分，结合软注意力融入巡检术语，并通过语义池化生成句级任务向量。可充分挖掘文本语义信息，强化故障、方位、动作等语义表达，形成精准的任务引导特征。

25、在一种可选的实施方式中，所述通过所述句级任务向量对所述多模态词元进行筛选并叠加空间位置、时间位置及模态位置，生成带有位置编码的多模态词元，包括：

26、基于所述句级任务向量，剔除所述多模态词元中的无关特征词元；

27、将剔除后的多模态词元叠加空间位置、时间位置及模态位置，生成带有位置编码的多模态词元。

28、本发明依托句级任务向量完成词元筛选，有效剔除无关特征，减少冗余信息干扰。叠加多类位置编码后，让词元同步承载空间、时序与模态属性，完善特征表征维度，提升模型对目标位置、时序变化及模态来源的感知能力。

29、在一种可选的实施方式中，所述对带有位置编码的多模态词元执行模态内自注意力计算，提取对应的单模态特征，并根据局部可靠性得分从所有所述单模态特征中筛选出高置信度特征，包括：

30、逐一对带有位置编码的各类模态词元执行模态内自注意力运算，生成对应的单模态特征；

31、逐一计算各类模态的单模态特征的局部可靠性得分；

32、按照局部可靠性得分结果从所有所述单模态特征中筛选出高置信度特征。

33、本发明通过模态内自注意力充分挖掘单模态内部关联特征，结合局部可靠性得分评估特征有效性。依据得分筛选高置信度特征，滤除低质量、无效特征，大幅降低后续跨模态计算量，减少噪声干扰，提升整体特征质量与运算效率。

34、在一种可选的实施方式中，所述对各模态的高置信度特征进行跨模态融合，并采用门控机制对跨模态融合结果进行优化，包括：

35、基于各模态对应的高置信度特征，构建跨模态的查询、键和值；

36、在预设的输电线路物理一致性偏置约束条件下，根据跨模态的查询、键和值，将各模态对应的高置信度特征进行交叉注意力计算，得到跨模态融合特征；

37、基于所述跨模态融合特征，计算模态对门控系数；

38、根据所述模态对门控系数，对所述跨模态融合特征进行自适应加权修正处理。

39、本发明引入物理一致性偏置约束开展交叉注意力计算，贴合输电线路场景特征关联规律。借助模态对门控系数自适应加权修正融合结果，可动态抑制冗余跨模态信息，强化有效特征交互，提升多模态融合精度与抗干扰能力。

40、在一种可选的实施方式中，所述整合单模态自注意力结果及门控优化后的跨模态融合特征，得到全局融合特征图，包括：

41、结合单模态自注意力结果的单模态特征和门控优化后的跨模态融合特征，生成聚合特征；

42、对所述聚合特征执行层归一化与层间更新处理，得到全局融合特征图。

43、本发明融合单模态特征与跨模态融合特征，兼顾局部细节与模态间关联。通过层归一化与层间更新优化特征表达，统一特征分布、完善整体表征，最终得到信息完整、特征稳定的全局融合特征图。

44、在一种可选的实施方式中，所述方法还包括：

45、将所述全局融合特征图输入并行卷积头，输出目标中心热图、边框回归量、类别概率及红外故障热区图；

46、基于所述目标中心热图、所述边框回归量、所述类别概率及所述红外故障热区图，构建多任务损失函数；

47、按照所述多任务损失函数，对所述特征融合模型及所述并行卷积头进行联合参数优化；

48、根据所述目标中心热图、所述边框回归量、所述类别概率、所述红外故障热区图、历史特征模板与预设的动态匹配阈值，对所述输电线路的多个设备、线路故障及线路附着异物进行持续定位及轨迹跟踪；

49、根据轨迹跟踪状态动态更新特征模板。

50、本发明借助并行卷积头同步完成定位、分类与故障区域检测，结合多任务损失实现模型联合优化，提升整体预测精度。依托检测结果、历史模板与动态阈值，持续跟踪线路设备、故障及附着异物，并动态更新模板，有效保障长时序监测的稳定性与连续性。

51、在一种可选的实施方式中，所述方法还包括：

52、构建各模态对应的质量向量；

53、将各模态对应的质量向量输入预设的质量得分网络，计算对应模态的质量得分；

54、通过归一化函数对全部模态对应的质量得分进行归一化处理，得到各模态对应的全局权重；

55、联合各模态对应的全局权重和词元级统计特征，计算局部可靠性门控系数；

56、基于各模态对应的全局权重和所述局部可靠性门控系数，对所述多模态词元及对应的单模态特征进行双层加权处理；

57、构建模态质量伪标签；

58、结合各模态的质量得分和所述模态质量伪标签，构建质量监督损失函数及权重熵正则项；

59、基于所述质量监督损失函数及所述权重熵正则项，对所述质量得分网络的网络参数进行迭代优化。

60、本发明通过模态与词元双层加权机制，依据质量得分动态分配权重，有效抑制低质量数据与无效特征干扰。搭配质量伪标签、监督损失与熵正则项约束，持续优化质量得分网络参数，提升模态质量评估准确度，增强模型在复杂工况下的适应性与特征表达稳定性。

61、第二方面，本发明提供了一种输电线路监测装置，所述装置包括：

62、获取模块，用于获取输电线路的多个模态数据，并将各所述模态数据叠加附属嵌入信息，生成多模态词元并输入预设的特征融合模型；

63、构建模块，用于基于所述特征融合模型的输入文本序列的各词元，构建角色增强语言词元，并将输电巡检术语叠加至所述角色增强语言词元，生成句级任务向量；

64、叠加模块，用于通过所述句级任务向量对所述多模态词元进行筛选并叠加空间位置、时间位置及模态位置，生成带有位置编码的多模态词元；

65、筛选模块，用于对带有位置编码的多模态词元执行模态内自注意力计算，提取对应的单模态特征，并根据局部可靠性得分从所有所述单模态特征中筛选出高置信度特征；

66、优化模块，用于对各模态的高置信度特征进行跨模态融合，并采用门控机制对跨模态融合结果进行优化；

67、融合特征模块，用于整合单模态自注意力结果及门控优化后的跨模态融合特征，得到全局融合特征图。