一种水下裂缝识别方法及系统

摘要: 本技术属于计算机视觉、数字图像处理及人工智能模式识别,具体涉及一种水下裂缝识别方法及系统。背景技术:1、水下大坝、桥墩、海底隧道及海底管道等基础设施长期处于复杂...
一种水下裂缝识别方法及系统

本技术属于计算机视觉、数字图像处理及人工智能模式识别,具体涉及一种水下裂缝识别方法及系统。

背景技术:

1、水下大坝、桥墩、海底隧道及海底管道等基础设施长期处于复杂水体环境中,其表面裂缝的及时识别对于结构状态检测具有重要意义。随着水下机器人和水下视觉设备的发展,利用水下相机采集结构表面的连续图像并通过图像处理算法识别裂缝,已成为水下结构表面病害检测的一种常用技术方式。

2、现有水下裂缝识别方式通常包括基于单帧图像的空间特征识别以及基于连续视频帧运动信息的动静分离。前者主要根据图像中的颜色、纹理、边缘或空间形态识别线状裂缝;后者可以根据相邻视频帧之间的像素运动情况,通过运动幅值等参数区分静态结构与动态目标。

3、然而,水下环境中通常存在细长水草、线状悬浮物、泥沙颗粒及光影变化等干扰,其在单帧图像中的形态容易与真实裂缝相似;同时,水下机器人受到水流作用后可能发生平移或姿态晃动,使固定于结构表面的真实裂缝在图像中产生表观运动。此外,水草缓慢摆动、悬浮物短暂漂移等不同干扰具有不同运动规律,采用固定运动幅值阈值时,容易出现动态干扰保留或真实裂缝被错误剔除的情况。

技术实现思路

1、本技术提供了一种水下裂缝识别方法及系统,以解决上述技术问题。

2、本技术所采用的技术方案为:

3、本技术实施例提供一种水下裂缝识别方法,应用于数据处理装置,所述方法包括:

4、获取水下结构表面的连续视频图像序列,对所述连续视频图像序列中的各视频帧进行裂缝候选提取,并基于相邻视频帧确定像素运动场,得到各视频帧对应的裂缝候选图以及相邻视频帧之间的初始运动场,其中,所述裂缝候选图包括至少一个裂缝候选对象;

5、确定所述相邻视频帧之间的全局运动关系,根据所述全局运动关系对所述初始运动场进行全局运动补偿,得到表征补偿后像素运动状态的全局运动残差特征,并根据所述全局运动残差特征对应的局部运动矢量分布,确定局部运动方向一致性特征;

6、根据所述全局运动关系,将预设时间窗口内的多个裂缝候选图对齐至同一参考坐标系,并基于对齐后的多个裂缝候选图,确定所述裂缝候选对象在所述预设时间窗口内的持续时间特征以及跨帧空间重合度特征;

7、针对所述裂缝候选对象,对与所述裂缝候选对象对应的所述全局运动残差特征、所述局部运动方向一致性特征、所述持续时间特征以及所述跨帧空间重合度特征进行联合处理,得到所述裂缝候选对象的裂缝置信结果;

8、根据所述裂缝置信结果确定所述水下结构表面的裂缝区域,并输出裂缝识别结果。

9、根据本技术的一个实施例,所述对所述连续视频图像序列中的各视频帧进行裂缝候选提取,并基于相邻视频帧确定像素运动场,包括:

10、针对当前视频帧提取具有裂缝形态特征的候选区域,确定各像素对应的裂缝候选概率,形成所述当前视频帧的裂缝候选图;

11、基于所述当前视频帧与历史相邻视频帧,确定各像素在相邻视频帧之间的二维位移矢量,并基于各所述二维位移矢量形成所述初始运动场。

12、根据本技术的一个实施例,所述确定所述相邻视频帧之间的全局运动关系,根据所述全局运动关系对所述初始运动场进行全局运动补偿,得到所述全局运动残差特征,包括:

13、提取所述当前视频帧和所述历史相邻视频帧中的刚性背景特征点,并根据所述刚性背景特征点之间的匹配关系确定所述历史相邻视频帧至所述当前视频帧的全局对齐关系;

14、根据所述全局对齐关系对所述初始运动场进行逆向映射,并根据逆向映射后各像素的位移确定所述全局运动残差特征。

15、根据本技术的一个实施例,所述根据所述全局运动残差特征对应的局部运动矢量分布,确定所述局部运动方向一致性特征,包括:

16、根据所述全局运动残差特征对应的残差幅值,从对应像素中筛选具有运动残差的有效运动点;

17、在各所述有效运动点对应的局部邻域内,对所述有效运动点的运动矢量方向进行圆周统计,根据所述局部邻域内各运动矢量方向对应的单位矢量合成结果,确定所述局部运动方向一致性特征。

18、根据本技术的一个实施例,所述根据所述全局运动关系,将预设时间窗口内的多个裂缝候选图对齐至同一参考坐标系,包括:

19、以当前视频帧的图像坐标系作为所述参考坐标系;

20、根据所述预设时间窗口内各历史视频帧之间的全局运动关系,确定各历史视频帧至所述当前视频帧的累计对齐关系;

21、根据各所述累计对齐关系,将对应历史视频帧的裂缝候选图映射至所述当前视频帧的图像坐标系,得到对齐后的多个裂缝候选图。

22、根据本技术的一个实施例,所述基于对齐后的多个裂缝候选图,确定所述裂缝候选对象在所述预设时间窗口内的持续时间特征以及跨帧空间重合度特征,包括:

23、针对所述参考坐标系中的各像素位置,统计所述像素位置在对齐后的多个裂缝候选图中满足裂缝候选条件的帧数,并根据所述帧数与所述预设时间窗口内视频帧总数之间的比例关系,确定所述像素位置对应的持续时间特征;

24、在所述当前视频帧对应的裂缝候选图中确定候选连通区域,针对各所述候选连通区域,确定所述候选连通区域与历史视频帧中对应的对齐候选区域之间的跨帧交并关系,并根据所述跨帧交并关系确定所述候选连通区域对应的跨帧空间重合度特征。

25、根据本技术的一个实施例,所述对与所述裂缝候选对象对应的所述全局运动残差特征、所述局部运动方向一致性特征、所述持续时间特征以及所述跨帧空间重合度特征进行联合处理,得到所述裂缝置信结果,包括:

26、分别对所述全局运动残差特征、所述局部运动方向一致性特征、所述持续时间特征和所述跨帧空间重合度特征进行归一化处理;

27、对归一化后的所述全局运动残差特征和所述局部运动方向一致性特征进行反向处理,使处理后的四类特征具有一致的裂缝置信度变化方向;

28、根据各类特征对应的权重,对处理后的四类特征进行加权联合,得到所述裂缝候选对象的裂缝置信结果。

29、根据本技术的一个实施例,所述根据所述裂缝置信结果确定所述水下结构表面的裂缝区域,包括:

30、根据所述裂缝置信结果生成二值裂缝掩码;

31、提取所述当前视频帧中的高频边缘信息作为空间引导信息,并根据所述空间引导信息对所述二值裂缝掩码进行空间滤波细化,得到所述裂缝识别结果。

32、根据本技术的一个实施例,所述确定所述相邻视频帧之间的全局运动关系,包括:

33、获取搭载水下相机的水下机器人对应的惯性测量数据和多普勒计程数据中的至少一种;

34、根据所获取的数据确定所述水下相机在所述相邻视频帧对应的采集时刻之间的平移变化和旋转变化,并根据所述平移变化和所述旋转变化确定所述全局运动关系。

35、本技术实施例还提供了一种水下裂缝识别系统,包括数据处理装置,所述数据处理装置包括:

36、候选及运动场获取模块,用于获取水下结构表面的连续视频图像序列,对所述连续视频图像序列中的各视频帧进行裂缝候选提取,并基于相邻视频帧确定像素运动场,得到各视频帧对应的裂缝候选图以及相邻视频帧之间的初始运动场,其中,所述裂缝候选图包括至少一个裂缝候选对象;

37、运动特征确定模块,用于确定所述相邻视频帧之间的全局运动关系,根据所述全局运动关系对所述初始运动场进行全局运动补偿,得到表征补偿后像素运动状态的全局运动残差特征,并根据所述全局运动残差特征对应的局部运动矢量分布,确定局部运动方向一致性特征;

38、时空特征确定模块,用于根据所述全局运动关系,将预设时间窗口内的多个裂缝候选图对齐至同一参考坐标系,并基于对齐后的多个裂缝候选图,确定所述裂缝候选对象在所述预设时间窗口内的持续时间特征以及跨帧空间重合度特征;

39、联合判定模块,用于针对所述裂缝候选对象,对与所述裂缝候选对象对应的所述全局运动残差特征、所述局部运动方向一致性特征、所述持续时间特征以及所述跨帧空间重合度特征进行联合处理,得到所述裂缝候选对象的裂缝置信结果;

40、结果生成模块,用于根据所述裂缝置信结果确定所述水下结构表面的裂缝区域,并输出裂缝识别结果。

41、由于采用了上述技术方案,本技术所取得的有益效果为:

42、本技术通过从连续视频图像中同时获得裂缝候选图和初始运动场,先根据相邻视频帧之间的全局运动关系对初始运动场进行补偿,再分别获得全局运动残差特征、局部运动方向一致性特征、持续时间特征以及跨帧空间重合度特征,并针对同一裂缝候选对象对上述特征进行联合处理,使裂缝候选对象能够同时从相对运动状态、局部运动规律、跨帧持续性以及空间形态稳定性多个方面进行表征,从而降低水草、悬浮物及相机晃动等动态因素对水下裂缝识别结果的干扰。

43、本技术通过针对当前视频帧提取裂缝候选概率并形成裂缝候选图,同时根据当前视频帧和历史相邻视频帧确定像素二维位移矢量并形成初始运动场,使空间形态信息与像素运动信息分别进入后续处理过程,从而避免仅依据单帧空间形态或者单一运动信息进行裂缝判断,为后续多维联合判定提供具有不同物理含义的基础数据。

44、本技术通过从当前视频帧和历史相邻视频帧中提取刚性背景特征点,根据刚性背景特征点之间的匹配关系确定全局对齐关系,并基于所述全局对齐关系对初始运动场进行逆向映射,可以先消除或减弱水下相机自身平移、旋转及姿态晃动引起的全局运动,再获得候选区域对应的实际剩余运动状态,从而减少固定真实裂缝因相机自运动而表现为运动目标的情况。

45、本技术通过对全局运动补偿后具有运动残差的有效运动点进行局部方向统计,并根据局部运动矢量对应的单位矢量合成结果确定局部运动方向一致性特征,可以在运动幅值较小的情况下继续利用运动方向分布识别具有规律性摆动特征的柔性干扰对象,从而对仅依靠运动幅值难以区分的缓慢摆动水草等目标提供进一步判定依据。

46、本技术通过利用全局运动关系将预设时间窗口内的多个裂缝候选图统一对齐至当前视频帧对应的参考坐标系,再分别根据同一像素位置跨帧满足裂缝候选条件的情况确定持续时间特征,以及根据候选连通区域与历史对齐候选区域之间的交并关系确定跨帧空间重合度特征,使时间持续性和空间结构稳定性均建立在完成相机运动补偿后的统一坐标基础上,从而能够区分短暂经过的悬浮物、发生非刚性形变的柔性干扰与长期固定于结构表面的真实裂缝。

47、本技术通过先对全局运动残差特征、局部运动方向一致性特征、持续时间特征及跨帧空间重合度特征进行归一化处理,再对其中与真实裂缝置信程度呈反向变化关系的全局运动残差特征和局部运动方向一致性特征进行反向处理,并基于各类特征对应的权重进行联合,可以统一不同特征参与裂缝判断时的变化方向,使运动属性所形成的负向约束与时间、空间稳定性所形成的正向判定依据共同作用于同一裂缝候选对象,从而减小单一固定阈值对复杂水流工况适应性不足的问题。

48、本技术通过根据裂缝置信结果生成二值裂缝掩码,并利用当前视频帧的高频边缘信息对所述二值裂缝掩码进行空间滤波细化,可以利用原始空间细节对多帧对齐及时序统计后产生的边缘模糊进行修正,使最终裂缝区域的边界与当前视频帧中的实际裂缝边缘更好对应。

49、本技术在视觉特征不足的水下环境中,通过获取水下机器人的惯性测量数据和多普勒计程数据中的至少一种,并据此确定水下相机在相邻视频帧采集时刻之间的平移变化和旋转变化,可以利用水下机器人的运动测量信息确定全局运动关系,从而为全局运动补偿及多帧候选图空间对齐提供另一种实现方式。