一种基于掩码先验时序传播的输电螺栓松动量化评估方法与流程

摘要: 本发明属于图片处理,尤其涉及一种基于掩码先验时序传播的输电螺栓松动量化评估方法。背景技术:1、输电线路中的连接螺栓长期受到风振、机械振动、温度变化及运行载荷变化...
一种基于掩码先验时序传播的输电螺栓松动量化评估方法与流程

本发明属于图片处理,尤其涉及一种基于掩码先验时序传播的输电螺栓松动量化评估方法。

背景技术:

1、输电线路中的连接螺栓长期受到风振、机械振动、温度变化及运行载荷变化等因素影响,可能产生松动。传统输电线路巡检主要依靠人工近距离观察或停电检修,对输电螺栓进行松动检查存在巡检效率较低、人工近距离作业风险较高以及难以形成连续量化结果等问题。随着无人机巡检技术的发展,可以利用无人机搭载图像采集装置获取输电塔及螺栓的巡检图像,并通过图像检测、图像分割、特征跟踪或光流跟踪等方式对输电螺栓进行视觉检测。

2、现有基于视觉的输电螺栓检测方法,一般根据螺栓目标在图像中的位置、形状或方向变化判断螺栓是否发生异常,或者通过连续图像中的目标位移、旋转角度变化对螺栓运动进行量化。然而,在无人机巡检过程中,待检测输电螺栓的图像运动不仅受到螺栓自身相对运动的影响,还会同时受到无人机飞行运动、相机姿态变化以及输电塔结构共同视觉运动的影响,因此直接利用螺栓图像自身的角度变化进行量化,难以区分螺栓自身的局部相对运动与外部共同运动。

3、另一方面,现有连续图像跟踪方法在获得螺栓相邻时刻的运动变化后,通常采用逐帧累加、绝对值累加或单次角度变化阈值判断等方式形成量化结果。当无人机受到气流扰动或输电塔受到振动时,螺栓图像可能在同一历史运动范围内产生往复摆动或局部回撤,简单累加各时刻运动变化容易将同一历史运动范围内的重复运动重复计入量化结果;而仅采用当前角度或单次变化量进行判断,又难以反映螺栓在连续巡检过程中沿某一旋转方向逐步形成的新旋转进程。

技术实现思路

1、本发明的目的是提供一种基于掩码先验时序传播的输电螺栓松动量化评估方法,解决了在无人机巡检过程中,输电螺栓局部运动难以从无人机及关联输电塔结构的共同视觉运动中准确区分的技术问题。

2、为实现上述目的,本发明采用如下技术方案:

3、一种基于掩码先验时序传播的输电螺栓松动量化评估方法,包括如下步骤:

4、图像采集单元获取包含待检测输电螺栓和关联输电塔结构的连续巡检图像;

5、目标运动处理单元根据所述连续巡检图像建立所述待检测输电螺栓的内部观测运动状态;

6、结构运动处理单元根据所述关联输电塔结构建立外部结构共同运动状态;

7、运动解耦处理单元基于相同的图像坐标映射方向,根据所述内部观测运动状态和所述外部结构共同运动状态进行运动变换解耦,获得所述待检测输电螺栓相对于所述关联输电塔结构的相对运动状态,并从所述相对运动状态中获得相对旋转增量,根据相对旋转增量确定旋转进程方向;

8、旋转进程处理单元根据所述相对旋转增量更新连续相对旋转状态,并按照所述旋转进程方向对所述连续相对旋转状态进行归一化,得到方向归一化连续相对旋转状态,并建立历史进程边界,将当前的方向归一化连续相对旋转状态与上一时刻的历史进程边界进行比较,在突破历史进程边界时,根据超出部分形成新增旋转进程,并更新历史进程边界;反之,不形成新增旋转进程;

9、量化输出单元根据多个时刻所形成的新增旋转进程,获得累计相对旋转进程量,并根据累计相对旋转进程量,获得所述待检测输电螺栓的松动相关量化结果,并输出该结果。

10、优选的,在建立所述待检测输电螺栓的内部观测运动状态时,具体包括:

11、在初始巡检图像中确定所述待检测输电螺栓的目标区域,获得目标掩膜和目标几何状态;

12、以第t-1时刻的目标掩膜和目标几何状态,作为第t时刻的时序先验,确定第t时刻的目标区域,并更新目标掩膜和目标几何状态;

13、根据相邻时刻的目标区域的位置、方向和尺度变化分量,获得由第t-1时刻图像坐标映射至第t时刻图像坐标的内部观测运动状态;

14、其中,t表示图像时序时刻,t-1为前一时刻,t为当前时刻。

15、优选的,所述内部观测运动状态为相似运动变换,包括平移分量、旋转分量和尺度变化分量;

16、所述内部观测运动状态根据相邻时刻目标掩膜的重叠程度和目标区域的面积变化程度,判定所述内部观测运动状态是否有效。

17、优选的,在建立外部结构共同运动状态时,具体包括:在所述关联输电塔结构上确定外部参考特征;

18、对相邻时刻的外部参考特征进行匹配或跟踪,得到特征对应关系,利用特征对应关系估计所述关联输电塔结构的共同运动变换;

19、根据所述共同运动变换,获得由第t-1时刻图像坐标映射至第t时刻图像坐标的外部结构共同运动状态,并根据特征匹配结果的一致性,判定所述外部结构共同运动状态是否有效。

20、优选的,所述外部参考特征从与所述待检测输电螺栓连接或相邻的所述关联输电塔结构上获得,所述关联输电塔结构包括连接板、角钢、塔材、金具本体中的至少一种;所述外部参考特征与所述待检测输电螺栓相互独立。

21、优选的,在进行运动变换解耦时,具体包括:

22、在所述内部观测运动状态和所述外部结构共同运动状态均有效时,根据以下公式获得所述相对运动状态:

23、;

24、其中,和分别表示由第t-1时刻图像坐标映射至第t时刻图像坐标的内部观测运动状态和外部结构共同运动状态,为外部结构共同运动状态的逆变换,用于表示所述待检测输电螺栓相对于所述关联输电塔结构的相对运动;为运动变换的复合运算,表示先执行右侧的变换,再执行左侧的变换。

25、优选的,在执行从所述相对运动状态中获得相对旋转增量时,具体包括:

26、从所述相对运动状态中提取相对旋转参数,获得当前时刻的相对旋转增量;

27、按照预设旋转方向对所述相对旋转增量进行正负标记,并将所述相对旋转增量归一化至预设角度范围;

28、若某时刻对应的所述内部观测运动状态或所述外部结构共同运动状态中的其中任意一个为无效时,则不利用该时刻的相对运动状态形成所述相对旋转增量。

29、优选的,所述根据相对旋转增量确定旋转进程方向,以及所述更新连续相对旋转状态,具体包括:

30、根据首次有效相对旋转增量的符号,确定本次巡检序列的旋转进程方向;

31、其中,为第t时刻从相对运动状态中提取得到的相对旋转增量,带有正负号,用于表示旋转方向,并归一化至预设角度范围;

32、根据所述旋转进程方向对连续相对旋转状态进行方向归一化,获得方向归一化连续相对旋转状态;

33、建立方向归一化连续相对旋转状态的历史最大进程边界,并将初始历史最大进程边界设置为零。

34、优选的,在形成新增旋转进程时,具体包括:

35、判断方向归一化连续相对旋转状态与历史最大进程边界之间的大小:

36、当时,将当前时刻的新增旋转进程确定为零;

37、当时,根据确定当前时刻的新增旋转进程,并将作为更新后的历史最大进程边界;

38、其中,表示t-1时刻历史最大进程边界;是第t时刻方向归一化连续相对旋转状态;为第t时刻新增旋转进程,其仅在突破历史边界时才大于0;未突破时;表示为更新后第t时刻的历史最大进程边界,当发生边界突破时,将当前的方向归一化连续相对旋转状态赋值为新的最大边界,进而更新历史最大进程边界;

39、对多个时刻的新增旋转进程进行累计,获得:

40、;

41、所述累计相对旋转进程量用于表示沿所述旋转进程方向突破既有历史进程范围所形成的累计相对旋转进程;表示对巡检时序中所有有效时刻的新增旋转进程求和。

42、本发明所述的一种基于掩码先验时序传播的输电螺栓松动量化评估方法,解决了在无人机巡检过程中,输电螺栓局部运动难以从无人机及关联输电塔结构的共同视觉运动中准确区分的技术问题,本发明通过分别建立待检测输电螺栓的内部观测运动状态和关联输电塔结构的外部共同运动状态,并在相同图像坐标映射方向下进行运动变换解耦,获得待检测输电螺栓相对于关联输电塔结构的相对运动状态,从而使后续旋转进程量化基于所述相对运动状态进行;首次有效相对旋转增量确定旋转进程方向,并对连续相对旋转状态进行方向归一化,使不同方向的相对旋转变化能够按照统一的进程方向进行处理;通过建立历史进程边界,仅将沿既定旋转方向超出历史进程边界的部分作为新增旋转进程进行累计,使螺栓在相同历史运动范围内的回退和再次经过不会被重复计入,从而提高旋转进程量化结果的稳定性;通过保存旋转进程方向、历史进程边界以及累计相对旋转进程量,可在后续有效巡检数据与历史数据具备可比性的情况下继续更新累计结果,从而形成面向同一输电螺栓的连续旋转进程量化。