基于AO差分和缺陷恢复的管板训练数据生成方法和系统

本发明实施例涉及管板数据处理，具体涉及一种基于ao差分和缺陷恢复的管板训练数据生成方法及系统、电子设备、存储介质。

背景技术：

1、凝汽器、换热器等热交换设备通常设置具有密集管孔阵列的管板，管板表面在制造、装配、运输及服役过程中可能产生凹坑、腐蚀坑、划伤、擦伤等缺陷。利用目标检测或实例分割模型对上述缺陷进行自动识别，需要大量同时包含彩色图像、缺陷类别及位置标注的数据。然而，真实管板缺陷样本难以批量获得，人工标注又容易受到管孔结构、反光、孔边阴影及缺陷相互遮挡的影响，三维仿真能够生成具有可控缺陷形态的图像，但对于密集管孔管板，直接根据材质标识生成掩码并不能充分解决数字雕刻后模型拓扑复杂、缺陷跨越孔边、划痕被孔洞或凹坑切分、rgb图像与深度图批量配准、以及训练标注和三维点云同步生成等问题，传统技术的共性缺陷如下：(1) 管板结构响应与真实缺陷响应混杂，尤其孔边圆弧容易形成误标；(2) 二值化过早丢失ao弱信号，导致划痕端部和跨孔区域被截断；(3)仅依赖像素连通性，无法根据方向、共线关系和延长关系恢复真实缺陷结构；(4) 缺少从建模、渲染、文件匹配、标注生成到点云输出的一体化闭环；(5) 多通道数据配准和批量任务管理依赖人工操作，效率低且容易错帧；(6) 输出格式单一，不能同时满足目标检测、结构化分析、人工复核和三维处理需求，具体的，传统技术各方案和缺点如下：

2、1) 真实拍摄与人工标注：通过工业相机或现场检测设备采集管板表面图像，再由标注人员绘制边界框或多边形，该方案受现场停机、设备姿态、照明条件和缺陷稀缺性的限制，且密集孔边容易造成标注歧义；

3、2) 单纯使用材质id或对象索引输出mask：在三维软件中为缺陷对象赋予独立材质或对象索引并渲染掩码，对于通过数字雕刻直接形成于同一网格表面的缺陷，缺陷区域与基体之间未必保持独立对象或独立材质边界，导致难以获得稳定、准确的mask；

4、3) 直接对ao差分图进行固定阈值二值化：雕刻前后ao图相减能够突出凹陷，但管孔边缘、模型轻微错位和渲染差异也会产生强响应，采用单一阈值和固定形态学核，容易出现孔边圆弧伪缺陷、长划痕断裂、短划痕漏检以及多个相邻缺陷粘连；

5、4) 依据连通域直接生成yolo标注：当同一条划痕被管孔遮挡或被凹坑分割时，连通域方法会将其识别为多个实例；反之，若仅通过大尺度膨胀连接断点，又可能把不同划痕错误合并；

6、5) rgb、深度与标注分别处理：多批次、多相机渲染文件通常由不同节点输出，文件名和编号不统一，容易发生ao、rgb、深度和标注错帧。传统脚本还常缺乏任务状态、预览、错误记录和批量结果打包能力；

7、6) 深度图仅用于显示：部分方案能够输出深度图，但未将相机内参、缺陷类别图和实例图同步反投影为带颜色、类别和实例属性的点云，因此难以用于后续三维测量、可视化或多模态训练；

8、为此，需要建立一套从管板建模、缺陷雕刻、同位姿多通道渲染，到缺陷结构恢复、标注格式转换和点云输出的自动化技术链。

技术实现思路

1、为了克服现有技术的不足，本发明实施例的目的在于提供一种基于ao差分和缺陷恢复的管板训练数据生成方法及系统、电子设备，能够有效降低孔边误检及跨孔漏检，提高缺陷标注的完整性、准确性及一致性，生成高质量、多模态对应的训练数据。

2、为解决上述问题，本发明实施例第一方面公开一种基于ao差分和缺陷恢复的管板训练数据生成方法，其包括以下步骤：

3、构建同一管板在相同相机位姿下基准模型和缺陷模型，并根据所述基准模型和缺陷模型生成基准ao图、缺陷ao图、rgb图以及深度图；

4、根据所述基准ao图与所述缺陷ao图生成浮点ao差分响应图，并对所述浮点ao差分响应图进行缺陷响应增强处理，得到增强差分响应图；

5、获取管板的管板孔位信息，根据管板孔位信息构建孔边连续权重模型，并利用所述孔边连续权重模型对所述增强差分响应图进行连续衰减处理，以降低孔边伪缺陷响应并生成缺陷候选区域；

6、对所述缺陷候选区域提取候选缺陷实例的几何特征，并依据几何连续性约束进行几何连续性恢复，得到属于同一缺陷的候选缺陷实例，作为目标缺陷实例；

7、根据所述目标缺陷实例生成缺陷标注数据，并基于统一帧号建立所述缺陷标注数据与所述rgb图及所述深度图之间的对应关系，生成训练数据。

8、可选的，所述根据管板孔位信息构建孔边连续权重模型，包括：根据管孔中心及半径构建孔边环形区域，并对所述环形区域赋予连续变化的权重，以降低孔边区域的差分响应，同时保留穿越孔边的缺陷响应。

9、可选的，构建孔边连续权重模型满足以下公式：

10、；

11、其中，表示第k个管孔在位置坐标p对应的像素连续权重函数，用于描述当前像素点受到该管孔边缘区域影响的程度；p表示当前待处理像素点的位置坐标；k表示管板中的管孔编号；ck表示第k个管孔的中心坐标，||p-ck||表示当前像素点 p与第 k个管孔中心 ck之间的欧氏距离；rk表示第 k个管孔对应的半径参数；min表示孔边区域向管孔内部方向的扩展宽度，用于限定孔内侧影响范围；mout表示孔边区域向管孔外部方向的扩展宽度，用于限定孔外侧影响范围；ω表示孔边区域对应的降权系数，0<ω<1，用于降低孔边区域ao响应强度；其他区域表示针对每个孔构造内外边界分别为rk-min和rk+mout的环形区域外的区域。

12、可选的，所述提取候选缺陷实例的几何特征，包括提取面积、圆度、长宽比以及主方向特征中的一种或多种，当候选缺陷实例之间的连线经过孔边区域时，增大候选缺陷实例之间的有效连接距离，以恢复跨越管孔的连续缺陷。

13、可选的，所述几何连续性约束至少包括方向一致性、共线关系以及实例间距离约束，当两个划痕实例之间存在位于其延长线附近的凹坑实例时，将所述凹坑实例作为中间连接节点，并将所述两个划痕实例恢复为同一缺陷实例。

14、可选的，所述几何连续性恢复包括：基于候选缺陷实例构建图结构，将候选缺陷实例作为节点，将方向一致性、共线关系、间距关系及跨孔关系作为边约束，根据所述图结构确定属于同一目标缺陷的候选缺陷实例。

15、可选的，所述缺陷候选区域通过多尺度结构恢复获得，所述多尺度结构恢复包括对不同尺度结构元素对应的恢复结果进行融合，以连接被管孔遮挡的缺陷区域。

16、本发明实施例第二方面公开了一种基于ao差分和缺陷恢复的管板训练数据生成系统，其包括：

17、构建单元，用于构建同一管板在相同相机位姿下基准模型和缺陷模型，并根据所述基准模型和缺陷模型生成基准ao图、缺陷ao图、rgb图以及深度图；

18、增强单元，用于根据所述基准ao图与所述缺陷ao图生成浮点ao差分响应图，并对所述浮点ao差分响应图进行缺陷响应增强处理，得到增强差分响应图；

19、衰减单元，用于获取管板的管板孔位信息，根据管板孔位信息构建孔边连续权重模型，并利用所述孔边连续权重模型对所述增强差分响应图进行连续衰减处理，以降低孔边伪缺陷响应并生成缺陷候选区域；

20、恢复单元，用于对所述缺陷候选区域提取候选缺陷实例的几何特征，并依据几何连续性约束进行几何连续性恢复，得到属于同一缺陷的候选缺陷实例，作为目标缺陷实例；

21、对应单元，用于根据所述目标缺陷实例生成缺陷标注数据，并基于统一帧号建立所述缺陷标注数据与所述rgb图及所述深度图之间的对应关系，生成训练数据。

22、本发明实施例第三方面公开了一种电子设备，其包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的基于ao差分和缺陷恢复的管板训练数据生成方法。

23、本发明实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的基于ao差分和缺陷恢复的管板训练数据生成方法。

24、与现有技术相比，本发明通过构建同一相机位姿下的基准模型和缺陷模型，利用ao差分获取缺陷引起的遮蔽变化信息，并结合缺陷响应增强、孔边连续权重抑制及几何连续性恢复，对因密集管孔造成的孔边伪响应及跨孔缺陷断裂进行针对性处理，最终生成与rgb图及深度图精确对应的训练数据，相比现有依赖人工标注或者直接采用rgb图进行缺陷标注的方法，本发明能够有效降低孔边误检及跨孔漏检，提高缺陷标注的完整性、准确性及一致性，生成高质量、多模态对应的训练数据，为后续智能缺陷检测模型提供可靠的数据支撑，具体的，有益效果在于如下：

25、1)适配同一网格数字雕刻缺陷，无需将缺陷保持为独立对象或材质，通过雕刻前后ao配对即可获得缺陷响应，适用于zbrush等数字雕刻后导回的高面数模型；

26、2) 降低孔边伪标注，孔边采用连续权重衰减而非硬删除，在抑制圆弧结构响应的同时，不会把穿越孔边的划痕直接切断；

27、3) 提高长划痕结构完整性，浮点热力图、方向增强、多尺度闭运算、几何连续性合并和端点信号延伸，可减少长划痕被拆成多个实例的问题；

28、4) 可解决跨类别中断，通过“scratch—pit—scratch”延长线判断，能够将因局部凹坑而中断的同一划痕恢复为一个实例；

29、5) 保持多源数据严格配准，相同相机编号下同步获得ao、rgb和深度图，并按帧号自动匹配，可降低大批量数据错帧风险；

30、6) 同时服务二维和三维任务，一次处理即可得到目标检测标注、结构化实例信息、人工检查图和点云数据，减少重复转换；

31、7) 参数可配置且可回退，阈值、孔边权重、合并角度、距离、端点信号和点云范围均可按不同模型尺度调整；某一增强模块失败时可保留前级结果继续处理；

32、8) 处理流程工程化，web系统统一执行上传、任务隔离、错误记录、结果统计和压缩下载，提高非编程人员使用效率；

33、9) 具有可视化对比支撑，三组典型样例分别显示，通过几何连续性恢复能够减少同一条划痕在孔边和凹坑附近的实例碎片；差分能量驱动的端点延伸能够补回阈值化后缺失的弱响应区域；孔边权重、弧形过滤及结构验证，能够显著减少由ao配准残差和管孔圆弧形成的候选伪缺陷。