基于多模态证据可信评估与主动补采的输电线路巡检方法

摘要: 本发明属于输电线路机器人巡检,具体涉及基于多模态证据可信评估与主动补采的输电线路巡检方法。背景技术:1、输电线路中的绝缘子、金具、导线连接部位、螺栓、线夹及杆塔...
基于多模态证据可信评估与主动补采的输电线路巡检方法

本发明属于输电线路机器人巡检,具体涉及基于多模态证据可信评估与主动补采的输电线路巡检方法。

背景技术:

1、输电线路中的绝缘子、金具、导线连接部位、螺栓、线夹及杆塔构件长期暴露于复杂户外环境,易产生裂纹、破损、缺失、松动、锈蚀、异常发热、结构位移和异物附着等缺陷。现有巡检方式逐步采用搭载可见光相机、红外热像仪和激光雷达的巡检机器人,以减少人工巡检强度并提高巡检覆盖率。

2、然而,现有多模态巡检方法通常存在以下不足:

3、1、现有多模态巡检方法通常将不同传感器的检测结果进行简单拼接、固定权重加权或一次性融合。然而,机器人行走振动、逆光、雨雾、部件遮挡、红外反射、点云稀疏、标定误差和位姿漂移会造成不同模态的局部观测质量显著变化。若对低质量模态与高质量模态采用相同权重,低质量证据容易放大误检或掩盖弱缺陷。

4、2、可见光、红外和点云反映的物理属性不完全相同,例如可见光主要反映纹理、表面形态和部件存在性,红外主要反映温升和热分布,点云主要反映三维几何形态。若未限定可比较的属性便直接计算模态冲突,容易将反映不同物理属性的互补证据错误地判定为相互矛盾。

5、3、现有巡检机器人多沿预设路线和固定观测角度采集数据,当目标部件被遮挡、尺度过小或检测结果不确定时,系统通常直接输出低置信度结果或交由人工复核,缺乏根据当前不确定度自主选择下一观测位置并重新采集的闭环机制。即使部分系统支持重复拍摄,也常以固定补拍策略为主,未综合考虑预期信息增益、机器人运动代价、遮挡和安全约束。

6、4、利用历史巡检结果辅助当前判断时,若仅持续累积历史证据而不设置时间衰减、证据上限和检修重置条件,可能发生旧缺陷证据长期残留、错误证据被连续放大或部件更换后状态无法更新的问题。

7、因此,需要一种能够将多模态观测映射至同一部件身份,评价局部观测质量,在可比较属性分支内识别模态冲突,对证据进行可信折扣与有界历史递推,并在不确定度较高时主动规划补采动作的输电线路机器人巡检方法。

技术实现思路

1、针对现有输电线路机器人巡检中不同物理属性被错误比较、低可信证据污染融合结果、历史证据无限累积等问题,本发明提供了基于多模态证据可信评估与主动补采的输电线路巡检方法,以部件锚点作为多模态观测和历史状态的统一索引,以局部可靠度和模态冲突作为证据可信折扣依据,以dirichlet证据分布表征检测不确定度,并以预期不确定度下降量驱动机器人重新选择观测位置和采集参数,实现了多模态观测的部件级统一关联与可信度量化、异源冲突的合理判别、历史证据的动态遗忘与更新,从而显著提高了输电线路弱缺陷和复杂环境下巡检结果的可靠性与准确性。

2、本发明通过如下技术方案实现:

3、基于多模态证据可信评估与主动补采的输电线路巡检方法,包括:

4、s1、按照统一时间基准采集目标部件的多模态感知数据、机器人位姿及元数据,建立不同模态数据的时间关联关系;

5、s2、建立部件锚点图,将同一部件的不同模态观测映射至对应锚点,形成部件级多模态观测集合;

6、s3、提取各模态的缺陷类别证据、缺陷位置证据及局部质量参数,计算局部可靠度并确定有效模态集合;

7、s4、根据模态—属性可比较关系计算可比较模态间的模态冲突系数,并修正对应局部可靠度;

8、s5、根据修正后的局部可靠度对缺陷类别证据进行可信折扣和多模态融合,并对同一部件锚点的历史分类证据进行具有时间衰减、证据上限及状态重置条件的有界递推,得到递推融合证据;

9、s6、根据递推融合证据计算缺陷类别概率和证据不确定度,并根据证据不确定度、模态冲突程度及有效模态状态判断是否触发主动补采;

10、s7、在满足可达性和安全约束的范围内生成候选补采动作,预测各候选动作执行后的局部可靠度和证据不确定度,根据预期不确定度下降量及动作代价选择目标补采动作并执行补采;

11、s8、将补采数据重新关联至原部件锚点并更新融合证据,根据终止条件决定继续补采或输出巡检结果。

12、进一步地,步骤s1中,所述统一时间基准通过硬件触发、精确时间协议、网络时间同步或软件时间戳校正中的至少一种方式建立;所述多模态感知数据至少包括可见光图像、红外热图和激光点云;

13、在所述统一时间基准下,根据不同模态数据的采集时间戳建立时间关联关系;所述时间关联关系包括:当不同传感器采样频率不一致时,在预设时间窗口内采用最近时间戳进行关联;当机器人速度或振动强度超过预设阈值时,进一步利用机器人位姿轨迹对观测时刻对应的机器人位姿进行插值补偿,并基于补偿后的观测状态完成多模态数据关联;

14、其中,不同模态数据之间的时间关联满足:

15、       (1)

16、式(1)中,表示第一模态m与第二模态n两次候选关联观测之间的采集时间差,和分别表示第一模态m和第二模态n的采集时间,表示允许组成同一部件级多模态观测集合的最大时间间隔;越小,表示两个模态观测在时间上越接近;当小于或等于时,第一模态m和第二模态n的观测数据关联至同一时间邻域内,并赋予相同的时间索引标签;当大于时,分别为第一模态m和第二模态n的观测数据分配不同的时间索引标签,不参与后续部件级多模态观测集合的构建。

17、进一步地,步骤s1中,所述元数据至少包括曝光时间、增益、焦距、红外量程、激光扫描频率、传感器温度、传感器自检状态及采集时机器人振动强度。

18、进一步地,所述步骤s2包括如下内容:

19、s21、对步骤s1中被赋予相同时间索引标签的多模态观测数据,基于输电线路结构模型,将杆塔构件、绝缘子串、间隔棒、连接金具、螺栓、线夹和导线连接区域设置为部件锚点,并为各部件锚点配置唯一锚点标识、部件类型、三维参考位置、局部坐标系、几何包围区域及拓扑邻接关系,从而建立部件锚点图;

20、s22、根据机器人位姿和传感器外参,将多模态观测数据中的可见光像素、红外像素及点云信息映射至输电线路结构模型坐标系,映射关系为:

21、   (2)

22、式(2)中,表示第一模态m坐标系中的观测点,表示第一模态m坐标系至机器人坐标系的外参变换,表示时刻t机器人坐标系至线路结构模型坐标系的位姿变换,表示映射后的观测点坐标;

23、s23、对于映射至部件锚点几何包围区域内的观测点,进一步执行视场覆盖校验、深度一致性校验、遮挡情况校验及锚点身份置信度校验;各项校验通过的观测关联至对应部件锚点,并转换至该锚点的局部坐标系,从而形成以部件锚点为索引的部件级多模态观测集合;对于锚点身份置信度低于预设阈值的观测点,不将其与既有锚点的历史状态进行关联,并建立临时锚点或输出人工确认标记。

24、进一步地,所述步骤s3包括如下内容:

25、s31、缺陷证据提取:将步骤s2得到的部件级多模态观测集合分别输入对应模态的检测模型;其中,可见光分支输出缺陷类别证据及二维缺陷区域或关键点,红外分支输出缺陷类别证据及二维热异常区域,点云分支输出缺陷类别证据及三维位置;各检测分支的末层原始输出经非负映射,得到对应模态的非负缺陷类别证据向量:

26、      (3)

27、式(3)中,表示部件锚点i在时刻t由第一模态m的检测分支输出的原始类别响应,表示经非负映射后得到的缺陷类别证据向量,c表示对应属性分支中的类别数;

28、s32、缺陷位置统一:对不同模态输出的缺陷位置证据进行空间统一;将可见光分支和红外分支输出的二维缺陷区域或关键点,通过相机内参、传感器外参以及点云深度或线路结构模型交会结果转换为候选三维位置,并与点云分支直接输出的三维位置统一至同一部件锚点的局部坐标系;当存在两个以上有效位置证据时,根据对应模态的局部可靠度进行加权估计,或采用中值、ransac鲁棒估计得到缺陷三维位置及位置协方差或位置置信区间;

29、s33、局部质量参数提取:针对各模态局部观测提取局部质量参数,所述局部质量参数包括各模态共有的质量参数和各模态特有的质量参数;

30、其中,所述各模态共有的质量参数包括位姿协方差、锚点身份置信度、传感器自检状态及机器人振动强度;

31、所述各模态特有的质量参数包括:可见光模态的清晰度、曝光偏差、局部对比度、目标像素占比和遮挡率;红外模态的目标与邻域温差、热图饱和率、非均匀校正状态、反射风险和目标像素占比;点云模态的点密度、点云完整度、表面覆盖率、离群点比例、入射角和拟合残差;

32、s34、局部可靠度计算:从上述局部质量参数中选取至少两项,经归一化后计算对应模态的局部可靠度:

33、    (4)

34、式(4)中,表示第一模态m对应当前局部观测的局部可靠度,表示经归一化的第k项局部质量参数,和表示根据质量标定集确定的权重和偏置,σ表示sigmoid函数,clip表示将局部可靠度限制在0至1之间;

35、s35、有效模态集合确定:根据步骤s34得到的局部可靠度及传感器自检状态确定有效模态集合:

36、  (5)

37、式(5)中,表示部件锚点i在时刻t的有效模态集合,表示最低可靠度阈值,表示传感器自检状态;只有属于所述有效模态集合的模态所对应的缺陷类别证据、缺陷位置证据、局部质量参数和局部可靠度进入步骤s4及后续步骤的处理。

38、进一步地,步骤s4包括如下内容:

39、s41、计算模态冲突系数:在模态冲突计算中,仅对针对同一物理属性具有可比较关系的模态进行;对于具有可比较关系的第一模态m和第二模态n,根据二者对应的缺陷类别概率分布计算模态冲突系数:

40、  (6)

41、式中,表示部件锚点i在时刻t下第一模态m与第二模态n之间的模态冲突系数;和分别表示第一模态m和第二模态n针对同一可比较属性获得的缺陷类别概率分布向量;js(·)表示jensen-shannon散度;ln2用于对jensen-shannon散度进行归一化;表示冲突组合权重系数,;表示用于避免分母为零的预设极小正数;

42、s42、计算各模态的平均冲突程度:根据第一模态m与其他有效可比较模态之间的模态冲突系数计算平均冲突程度:

43、    (7)

44、式中,表示与第一模态m具有可比较关系的有效模态集合,表示第一模态m与第二模态n之间的冲突评价权重;

45、s43、修正局部可靠度:根据所述平均冲突程度对s34得到的局部可靠度进行修正:

46、(8)

47、式中,表示修正前的局部可靠度,表示冲突修正后的局部可靠度,表示冲突敏感系数,。

48、进一步地,步骤s5包括如下步骤:

49、s51、可信折扣:根据s43得到的冲突修正后局部可靠度,计算各有效模态的融合权重,并利用所述融合权重对各模态的非负缺陷类别证据进行可信折扣:

50、    (9)

51、式中,表示第一模态m的非负缺陷类别证据向量,表示依据冲突修正后局部可靠度确定的归一化融合权重,表示可信折扣后的缺陷类别证据;

52、s52、当前时刻多模态融合:对各有效模态可信折扣后的缺陷类别证据进行融合,得到当前时刻多模态融合证据:

53、     (10)

54、其中,表示部件锚点i在时刻t的当前时刻多模态融合证据;

55、s53、有界历史递推:在当前时刻多模态融合证据基础上,引入同一部件锚点的历史分类证据进行有界递推,得到递推融合证据:

56、     (11)

57、式中,表示部件锚点i在时刻t的递推融合证据;表示上一有效巡检时刻对应锚点的历史递推融合证据;表示随巡检时间间隔增加而减小的时间衰减系数;表示历史证据有效门控量;表示部件锚点i的拓扑邻接锚点集合;表示拓扑关联权重;表示邻接证据影响系数;表示邻接锚点j在时刻t的融合证据向量;表示证据上限;得到的递推融合证据作为步骤s6的输入。

58、进一步地,步骤s6包括如下内容:

59、s61、缺陷类别概率与证据不确定度计算:将步骤s53得到的递推融合证据与预设先验相结合,构造dirichlet分布参数:

60、     (12)

61、式中,表示第c类缺陷对应的递推融合证据,表示对应的dirichlet分布参数;

62、对应缺陷类别概率为:

63、      (13)

64、式中,表示部件锚点i在时刻t对应第j类缺陷状态的dirichlet分布参数;

65、对应证据不确定度为:

66、     (14)

67、式中,表示部件锚点i在时刻t属于第c类缺陷的概率,表示对应的证据不确定度,c表示当前属性分支中的缺陷类别数;

68、s62、主动补采触发判断:当满足以下条件中的至少一项时,触发步骤s7的主动补采:

69、a、所述证据不确定度高于预设补采触发阈值;

70、b、最大模态冲突系数高于预设冲突阈值;

71、c、有效模态数量低于预设要求;

72、当所述证据不确定度不高于预设结果输出阈值时,允许直接进入步骤s8的结果输出阶段,无需触发主动补采。

73、进一步地,步骤s7包括如下内容:

74、s71、候选补采动作生成:针对步骤s62中触发主动补采的部件锚点,在满足机器人可达性和安全约束的范围内生成候选补采动作;所述候选补采动作包括机器人位置、机器人姿态、云台角度及传感器采集参数中的至少一种;

75、s72、补采后感知质量预测:对于候选补采动作a,根据当前部件状态、当前模态质量状态以及候选补采动作参数构建动作质量特征:

76、       (15)

77、式中,表示候选观测方向相关参数,表示候选观测距离相关参数,表示候选遮挡状态参数,表示候选动作对应的传感器采集参数,表示当前局部质量状态;

78、利用主动感知质量预测模型根据所述动作质量特征预测执行候选补采动作后的局部可靠度和证据不确定度:

79、     (16)

80、式中,表示主动感知质量预测模型,表示候选动作执行后第一模态m的预测局部可靠度,表示对应的预测证据不确定度。

81、s73、候选动作评价:根据步骤s61得到的当前证据不确定度与步骤s72得到的预测证据不确定度,计算候选补采动作对应的预期不确定度下降量:

82、     (17)

83、式中,表示候选补采动作a对应的预期不确定度下降量;表示目标部件锚点在当前巡检时刻的证据不确定度;

84、结合动作代价构建候选补采动作评价函数:

85、      (18)

86、式中,、、和分别表示候选补采动作的运动代价、遮挡代价、时间代价和能耗代价,~表示对应的代价权重;

87、s74、目标动作选择与执行:在满足可达性和安全约束的候选动作集合中选择评价函数最优的目标补采动作:

88、        (19)

89、式中,表示候选补采动作a的综合评价函数值;表示在可行候选补采动作集合中,选取使综合评价函数取得最大值的候选补采动作。

90、当所述目标补采动作对应的预期不确定度下降量不低于预设最小增益阈值时,控制机器人执行所述目标补采动作,重新采集对应部件锚点的多模态感知数据,补采后的数据进入步骤s8;

91、当所述目标补采动作对应的预期不确定度下降量低于预设最小增益阈值时,终止当前锚点的补采流程,进入步骤s8的结果输出阶段。

92、进一步地,步骤s8包括如下内容:

93、s81、补采数据关联与证据更新:将步骤s74补采得到的多模态感知数据,按照步骤s1的时间关联方式和步骤s2的锚点关联方式重新映射至原目标部件锚点;其中,仅锚点身份校验通过的补采数据参与原部件锚点的证据更新;证据更新后,重新执行步骤s3至步骤s6,获得更新后的局部可靠度、模态冲突系数、递推融合证据、缺陷类别概率及证据不确定度;

94、s82、终止条件判断:判断是否满足以下终止条件中的至少一项;若满足,则终止主动补采并进入结果输出阶段:(1)当前证据不确定度不高于预设结果输出阈值;(2)目标候选补采动作的预期不确定度下降量低于预设最小增益阈值;(3)补采次数达到预设次数上限;(4)机器人剩余能量低于预设阈值;(5)不存在满足可达性和安全约束的候选补采动作;(6)传感器状态、通信状态或机器人运行状态不允许继续补采;

95、s83、迭代闭环控制:当步骤s82中所有终止条件均不满足时,以更新后的证据状态返回步骤s7,继续生成并评价候选补采动作,直至满足s82中至少一项终止条件为止。

96、另一方面,本发明还提供了基于多模态证据可信评估与主动感知补采的输电线路的巡检系统,包括:

97、数据采集与时间关联模块,用于按照统一时间基准采集目标部件的多模态感知数据、机器人位姿及采集元数据,建立不同模态数据的时间关联关系;

98、部件锚点模块,用于建立部件锚点图,将同一部件的不同模态观测映射至对应锚点,形成部件级多模态观测集合;

99、证据提取模块,用于提取各模态的缺陷类别证据、缺陷位置证据及局部质量参数,计算局部可靠度并确定有效模态集合;

100、可信评估模块,用于根据模态-属性可比较关系计算可比较模态间的模态冲突系数,并修正对应局部可靠度;

101、递推融合模块,用于根据修正后的局部可靠度对缺陷类别证据进行可信折扣和多模态融合,并对同一部件锚点的历史分类证据进行具有时间衰减、证据上限及状态重置条件的有界递推,得到递推融合证据;

102、不确定度计算模块,用于根据所述递推融合证据计算缺陷类别概率和证据不确定度,并根据所述证据不确定度、模态冲突程度及有效模态状态判断是否触发主动补采;

103、主动补采决策模块,用于在满足可达性和安全约束的范围内生成候选补采动作,预测各候选动作执行后的局部可靠度和证据不确定度,根据预期不确定度下降量及动作代价选择目标补采动作并执行补采;

104、机器人控制模块,用于接收目标补采动作指令并生成运动控制信号及传感器触发信号;

105、结果输出与任务模块,用于将补采数据重新关联至原部件锚点并更新融合证据,根据终止条件决定继续补采或输出巡检结果。

106、与现有技术相比,本发明的优点如下:

107、1. 本发明以部件锚点为统一索引,将不同时间、不同传感器和不同观测位姿下的数据关联至同一物理部件,减少跨模态错配和历史状态串扰。

108、2. 本发明将局部观测质量显式转换为局部可靠度,低质量模态不会与高质量模态等权参与融合,能够降低模糊、遮挡、点云稀疏和位姿漂移造成的错误证据影响。

109、3. 本发明通过可比较属性分支限定冲突计算范围,避免把反映不同物理属性的互补证据错误判定为矛盾;组合散度冲突系数还能够区分分布方向差异和不确定。

110、4. 本发明采用可信折扣、证据融合和具有时间衰减、证据上限及重置条件的有界历史递推,既利用历史信息,又避免旧证据无限累积和检修后状态残留。

111、5. 本发明以证据不确定度为主动补采触发量,以预期不确定度下降量为补采收益,结合运动、遮挡、安全和能耗约束选择观测动作,实现由一次性被动检测向闭环主动感知转变。

112、6. 本发明输出中保留证据来源、可靠度、冲突及补采过程,便于运维人员追溯检测依据。