船舶检验图像识别缺陷智能判定方法与流程

摘要: 本发明属于计算机视觉及船舶检验图像处理,具体为船舶检验图像识别缺陷智能判定方法。背景技术:1、船舶检验中的表面缺陷识别通常以检验图像为处理对象,现有技术一般先对...
船舶检验图像识别缺陷智能判定方法与流程

本发明属于计算机视觉及船舶检验图像处理,具体为船舶检验图像识别缺陷智能判定方法。

背景技术:

1、船舶检验中的表面缺陷识别通常以检验图像为处理对象,现有技术一般先对图像进行去噪、亮度均衡、对比度增强和尺度归一化,再采用边缘检测、纹理分析、区域分割或卷积特征提取方式获得疑似缺陷区域,并依据裂纹、腐蚀、涂层剥落等缺陷的颜色、形态、灰度梯度和连通特征完成类别判定。部分方案会在缺陷识别前增加船体构件区域分割,将板面、焊缝、板缝、连接区域及构件边缘划分为不同语义区域,再在各语义区域内执行缺陷检测;也有方案利用多尺度特征融合扩大缺陷感受范围,或者对识别结果进行形态学连接和轮廓修正。上述处理流程通常将构件识别与缺陷识别作为前后独立的串行步骤,构件分割结果主要用于限定搜索范围,缺陷识别仍以局部外观响应作为主要判断依据,构件边界之间的包含、邻接、平行、交叉和连续关系未被组织为可参与判定的结构约束,构件边界识别误差也缺少由缺陷证据反向修正的处理路径。

2、船舶表面的正常焊缝边缘、板缝轮廓、加强构件边缘与裂纹类缺陷在局部图像中可能具有相近的线性形态,涂层纹理变化与腐蚀、剥落区域也可能产生相近的颜色和梯度响应;当检验图像存在拍摄倾斜、局部光照不均、表面污染或缺陷覆盖结构边界时,正常结构响应与真实缺陷响应容易在同一区域叠加。现有技术由于缺少构件拓扑语义与缺陷连续证据之间的双向校正机制,通常只能依据固定的构件边界对缺陷候选进行保留或排除:边界约束较弱时,正常焊缝和板缝容易被识别为缺陷;边界约束较强时,跨越焊缝、板缝或构件连接位置的真实裂纹和连续腐蚀区域又容易被截断或删除。其核心技术问题在于,无法在结构边界本身存在不确定性的条件下,利用船体构件关系解释正常结构纹理,同时利用真实缺陷的跨界连续性修正错误结构边界,因而难以稳定区分结构性高响应与缺陷性异常响应。

技术实现思路

1、本发明的目的在于提供船舶检验图像识别缺陷智能判定方法,可以解决上述背景技术中的问题。

2、为实现上述目的,本发明采取的技术方案为:

3、船舶检验图像识别缺陷智能判定方法,包括:获取船舶检验图像并作多尺度结构解析,得到构件区域、结构边界及边界置信度;

4、依据结构走向与交汇位置确定语义锚点,建立局部结构坐标系;

5、在所述局部结构坐标系内提取缺陷候选,获得图像识别响应,构建包含构件区域节点、结构边界节点和缺陷候选节点的拓扑约束图,生成表征邻接、邻接、平行、交叉及连续关系的关系边;

6、依据所述拓扑约束图重建正常结构响应,从所述图像识别响应中分离正常结构响应,得到异常证据;

7、对跨越低置信结构边界且满足连续约束的异常证据执行结构边界修正,并依据修正后的结构边界更新所述局部结构坐标系及所述缺陷候选,循环执行正常结构响应重建、所述异常证据分离及结构边界修正,直至满足收敛条件,输出缺陷类别、缺陷位置及缺陷轮廓。

8、优选的,所述多尺度结构解析包括:在至少两个分辨率层级提取线性边缘特征、面域纹理特征和结构交汇特征;

9、将低分辨率层级获得的构件区域先验映射至高分辨率层级,对高分辨率层级中的候选边缘进行区域归属约束;

10、依据相邻候选边缘的方向一致性、间距连续性及交汇关系形成结构链;

11、对同时被面域纹理分界和所述结构交汇特征支持的结构链赋予第一边界置信度,对仅由单一分辨率层级支持或被异常纹理截断的结构链赋予低于所述第一边界置信度的第二边界置信度;

12、将具有所述第一边界置信度的结构链确定为语义锚点候选,并依据结构链之间的方向差异、交汇稳定度和空间覆盖关系选取语义锚点。

13、优选的,所述拓扑约束图的构建包括:为每一构件区域节点记录区域类别、主方向和边界序列,为每一结构边界节点记录曲率、宽度及两侧纹理差异,为每一缺陷候选节点记录形态主轴、连通分支和局部外观编码;

14、依据节点之间的空间包含、端点邻接、方向平行、轨迹交叉及跨边连续关系生成所述关系边;

15、对每一关系边设置由相关节点的边界置信度、相邻结构边界形成的结构链完整度和局部结构一致度共同确定的关系可信度;

16、沿所述关系边传播所述构件区域节点的正常纹理表示和结构边缘表示,在所述缺陷候选节点对应位置生成与构件类别、边界方向及邻接关系一致的正常结构响应,并将缺少所述关系可信度支持的图像识别响应标记为待判异常响应。

17、优选的,所述结构边界修正包括:将异常证据骨架化为候选连续路径,提取所述候选连续路径在所述结构边界两侧的端点方向、路径宽度、纹理编码及边缘强度序列;

18、依据两侧端点方向的接续关系、路径宽度变化的平滑关系、纹理编码的相容关系以及与所述正常结构响应的重合关系确定连续约束;

19、在所述候选连续路径跨越低置信结构边界且满足所述连续约束时,标记所述结构边界中的冲突区段;

20、从所述冲突区段两侧未被异常证据覆盖的边界片段提取结构走向,生成连接两侧边界片段的候选插值轨迹,按照所述候选插值轨迹与所述异常证据的重叠区间、与两侧边界片段的端点方向差及曲率接续关系确定重建边界,并以所述重建边界更新边界位置及所述边界置信度。

21、优选的,所述语义锚点的选取包括:将所述语义锚点候选按照所述结构链的延伸方向和交汇关系划分为多个锚点组,在每一锚点组内分别建立沿结构主方向的顺序索引和沿结构法向的间距索引;

22、根据所述结构链在不同分辨率层级中的位置残差、方向残差及交汇残差计算锚点稳定度;

23、选取所述锚点稳定度满足组内一致关系且覆盖局部检验区域边缘的结构链作为基础锚点;

24、以所述基础锚点拟合所述局部结构坐标系后,将映射残差集中于所述异常证据覆盖范围内的结构链保留为待校正锚点,将映射残差延伸至非异常区域的结构链移出对应锚点组,并重新拟合局部结构坐标系。

25、优选的,所述局部结构坐标系的建立包括:以连续结构链的主方向确定第一坐标轴,以与连续结构链相交或保持稳定间距的结构链确定第二坐标轴;

26、按照结构链曲率变化和透视缩放变化将所述船舶检验图像划分为相互重叠的局部子域;

27、在每一局部子域内,依据所述语义锚点的图像坐标、顺序索引和间距索引求取分段坐标映射;

28、对相邻局部子域中的同一构件边界计算映射后的位置差和方向差,依据所述位置差和所述方向差调整重叠区域内的映射权重;

29、将各局部子域的分段坐标映射按照调整后的映射权重进行连续拼接,形成覆盖构件区域和结构边界的局部结构坐标系。

30、优选的,所述正常结构响应的生成包括:依据所述构件区域节点的区域类别,从对应构件区域中选取未与所述缺陷候选节点连接的参考图像块;

31、沿与所述结构边界节点主方向一致的路径提取所述参考图像块的边缘响应序列和纹理变化序列;

32、根据关系边的关系可信度,将所述边缘响应序列传播至与所述参考图像块具有平行、邻接或连续关系的目标位置,并依据所述目标位置两侧构件区域节点的纹理编码对所述纹理变化序列进行条件重构;

33、在多个参考图像块对应同一目标位置时,按照结构方向一致度、区域类别一致度和拓扑路径长度确定响应融合次序,生成所述正常结构响应,并记录各响应成分对应的来源节点和传播路径。

34、优选的,所述候选连续路径的处理包括:在所述异常证据中提取具有共同端点邻域的多个候选分支,按照各候选分支的主方向、宽度序列及纹理编码建立分支接续图;

35、将跨越同一低置信结构边界的候选分支组合为多条备选连续路径;

36、对每条备选连续路径,分别计算跨界前后方向转折、宽度突变、纹理差异以及与所述正常结构响应的重叠区间,并依据所述分支接续图排除需要重复使用同一候选分支或产生自交叉的备选连续路径;

37、在剩余备选连续路径之间建立路径竞争关系,保留跨界接续关系连续且与所述正常结构响应冲突位置集中的候选连续路径,作为所述结构边界修正的异常证据输入。

38、优选的,所述局部结构坐标系的重新拟合包括:将基础锚点按照与所述异常证据的距离划分为内层锚点和外层锚点,分别计算所述内层锚点与所述外层锚点在重新拟合前后的映射残差变化;

39、当所述内层锚点的映射残差随所述结构边界修正而减小且所述外层锚点的映射残差保持组内一致时,保留对应的边界修正结果;

40、当所述外层锚点的映射残差沿同一方向连续增大时,撤销引起残差增大的边界修正,并将与所述边界修正关联的待校正锚点从锚点组中剔除;

41、依据剩余基础锚点的顺序索引和间距索引重新确定坐标轴方向、坐标原点及分段坐标映射。

42、优选的,所述分段坐标映射的连续拼接包括:在各相邻局部子域的重叠区域内,对同一构件边界分别生成来自各分段坐标映射的边界轨迹;

43、依据所述边界轨迹在语义锚点位置的重合关系、在非锚点位置的曲率连续关系以及在所述异常证据两侧的方向接续关系,确定各分段坐标映射的局部可信度;

44、对异常证据覆盖区域不直接依据边缘强度调整所述局部可信度,而采用对异常证据两侧未覆盖区域的边界轨迹进行跨区间插值;

45、按照所述局部可信度融合各边界轨迹,并将融合后的边界轨迹反向投影至所述船舶检验图像,对所述局部子域划分位置和重叠范围进行同步更新。

46、与现有技术相比,本发明的有益效果在于:

47、1.通过对船舶检验图像执行多尺度结构解析,获得构件区域、结构边界及边界置信度,并依据稳定结构链建立局部结构坐标系,可将板面、焊缝、板缝及连接区域置于统一的结构参照中;构建包含构件区域节点、结构边界节点和缺陷候选节点的拓扑约束图后,利用包含、邻接、平行、交叉和连续关系传播正常纹理表示与结构边缘表示,能够重建与构件类别及边界走向相符的正常结构响应,并从图像识别响应中分离正常结构响应,使焊缝边缘、板缝轮廓等能够由船体结构关系解释的高响应不再直接进入缺陷结果。对于跨越低置信结构边界且保持方向、宽度和纹理连续的异常证据,通过候选连续路径反向修正冲突边界,再依据修正结果更新坐标映射和缺陷候选,由此形成结构语义排除伪缺陷、缺陷连续证据修正错误边界的闭环,减少正常结构误判,并保留跨结构边界延伸的真实缺陷轮廓。

48、2.多尺度结构链的置信度分级、语义锚点分组及局部子域分段映射,使拍摄倾斜和局部透视变化能够在构件坐标参照内被分区校正,缺陷位置和轮廓可按照同一结构方向和间距关系进行表达。正常结构响应按照来源节点和传播路径拆分为结构边缘成分、区域纹理成分及交汇过渡成分,异常证据可保留对应的结构解释来源;候选连续路径与低置信结构边界构成冲突图后,可按照路径接续完整度、结构方向约束、间距约束及重复占区关系联合选择需要保留的异常路径和需要重建的边界区段,避免相邻候选分支重复参与边界修正。通过记录关系边增删状态、边界置信度变化、异常分支对应关系和坐标映射残差确定循环终止条件,可限制结构边界在多轮更新中的无序漂移,使缺陷类别、位置、轮廓及关联构件区域保持一致的图像证据和结构依据。